Учебники

21) R Выбор (), Фильтр () [Пример]

В этом уроке вы узнаете

Библиотека dplyr содержит ценные глаголы для навигации по набору данных. В этом уроке вы будете использовать набор данных Travel Times. Набор данных собирает информацию о поездках водителя между его домом и рабочим местом. В наборе данных четырнадцать переменных, в том числе:

  • DayOfWeek: укажите день недели, когда водитель пользуется своей машиной.
  • Расстояние: общее расстояние поездки
  • MaxSpeed: максимальная скорость поездки
  • TotalTime: длина в минутах пути

Набор данных имеет около 200 наблюдений в наборе данных, и поездки происходили с понедельника по пятницу.

Прежде всего, вам необходимо:

  • загрузить набор данных
  • проверить структуру данных.

Одной из удобных функций dplyr является функция glimpse (). Это улучшение по сравнению с str (). Мы можем использовать glimpse (), чтобы увидеть структуру набора данных и решить, какие манипуляции требуются.

library(dplyr) 
PATH <- "https://raw.githubusercontent.com/guru99-edu/R-Programming/master/travel_times.csv"
df <- read.csv(PATH)
glimpse(df)

Вывод:

## Observations: 205
## Variables: 14
## $ X              <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ...
## $ Date           <fctr> 1/6/2012, 1/6/2012, 1/4/2012, 1/4/2012, 1/3/20...
## $ StartTime      <fctr> 16:37, 08:20, 16:17, 07:53, 18:57, 07:57, 17:3...
## $ DayOfWeek      <fctr> Friday, Friday, Wednesday, Wednesday, Tuesday,...
## $ GoingTo        <fctr> Home, GSK, Home, GSK, Home, GSK, Home, GSK, GS...
## $ Distance       <dbl> 51.29, 51.63, 51.27, 49.17, 51.15, 51.80, 51.37...
## $ MaxSpeed       <dbl> 127.4, 130.3, 127.4, 132.3, 136.2, 135.8, 123.2...
## $ AvgSpeed       <dbl> 78.3, 81.8, 82.0, 74.2, 83.4, 84.5, 82.9, 77.5,...
## $ AvgMovingSpeed <dbl> 84.8, 88.9, 85.8, 82.9, 88.1, 88.8, 87.3, 85.9,...
## $ FuelEconomy    <fctr> , , , , , , -, -, 8.89, 8.89, 8.89, 8.89, 8.89...
## $ TotalTime      <dbl> 39.3, 37.9, 37.5, 39.8, 36.8, 36.8, 37.2, 37.9,...
## $ MovingTime     <dbl> 36.3, 34.9, 35.9, 35.6, 34.8, 35.0, 35.3, 34.3,...
## $ Take407All     <fctr> No, No, No, No, No, No, No, No, No, No, No, No...
## $ Comments       <fctr> , , , , , , , , , , , , , , , Put snow tires o...	

Это очевидно, что переменная Comments нуждается в дальнейшей диагностике. Первые наблюдения переменной Comments — это только пропущенные значения.

sum(df$Comments =="")

Код Объяснение

  • sum (df $ Comments == «»): Сумма наблюдений равна «» в столбце комментариев от df.

Вывод:

## [1] 181	

Выбрать()

Мы начнем с глагола select (). Нам не обязательно нужны все переменные, и хорошей практикой является выбор только тех переменных, которые вы считаете релевантными.

У нас есть 181 пропущенных наблюдений, почти 90 процентов набора данных. Если вы решите исключить их, вы не сможете продолжить анализ.

Другая возможность — удалить переменную Comment с глаголом select ().

Мы можем выбирать переменные разными способами с помощью select (). Обратите внимание, что первым аргументом является набор данных.

- `select(df, A, B ,C)`: Select the variables A, B and C from df dataset.
- `select(df, A:C)`: Select all variables from A to C from df dataset.
- `select(df, -C)`: Exclude C from the dataset from df dataset.	

Вы можете использовать третий способ, чтобы исключить переменную Comments.

step_1_df <- select(df, -Comments)
dim(df)

Вывод:

## [1] 205  14
dim(step_1_df)

Вывод:

## [1] 205  13	

Исходный набор данных имеет 14 функций, а у step_1_df — 13.

Фильтр()

Глагол filter () помогает сохранять наблюдения в соответствии с критериями. Filter () работает точно так же, как select (), сначала вы передаете фрейм данных, а затем условие, разделенное запятой:

filter(df, condition)
arguments:
- df: dataset used to filter the data
- condition:  Condition used to filter the data	

Один критерий

Прежде всего, вы можете посчитать количество наблюдений на каждом уровне факторной переменной.

table(step_1_df$GoingTo)

Код Объяснение

  • таблица (): подсчитать количество наблюдений по уровню. Обратите внимание, принимаются только переменные уровня фактора
  • table (step_1_df $ GoingTo): подсчитать количество поездок к конечному пункту назначения.

Вывод:

## 
##  GSK Home 
##  105  100	

Таблица функций () показывает, что 105 поездок идут в GSK, а 100 — домой.

Мы можем отфильтровать данные, чтобы получить один набор данных со 105 наблюдениями, а другой — со 100 наблюдениями.

# Select observations
if GoingTo == Home
select_home <- filter(df, GoingTo == "Home")
dim(select_home)

Вывод:

## [1] 100  14
# Select observations
if GoingTo == Work
select_work <- filter(df, GoingTo == "GSK")
dim(select_work)

Вывод:

## [1] 105  14	

Несколько критериев

Мы можем отфильтровать набор данных по нескольким критериям. Например, вы можете извлечь наблюдения, где пункт назначения находится дома и произошел в среду.

select_home_wed <- filter(df, GoingTo == "Home" & DayOfWeek == "Wednesday")
dim(select_home_wed)

Вывод:

## [1] 23 14	

23 наблюдения соответствовали этому критерию.

Трубопровод

Создание набора данных требует много операций, таких как:

  • импорта
  • сращивание
  • выбирающий
  • фильтрация
  • и так далее

Библиотека dplyr содержит практический оператор%>%, называемый конвейером . Функция конвейера делает манипулирование чистым, быстрым и менее быстрым к ошибкам.

Этот оператор представляет собой код, который выполняет шаги без сохранения промежуточных шагов на жесткий диск. Если вы вернулись к нашему примеру сверху, вы можете выбрать интересующие вас переменные и отфильтровать их. У нас есть три шага:

  • Шаг 1: Импорт данных: импорт данных GPS
  • Шаг 2. Выберите данные: выберите GoingTo и DayOfWeek
  • Шаг 3: Фильтровать данные: возвращать только домой и среду

Мы можем использовать сложный способ сделать это:

# Step 1
step_1 <- read.csv(PATH)

# Step 2 
step_2 <- select(step_1, GoingTo, DayOfWeek)

# Step 3 
step_3 <- filter(step_2, GoingTo == "Home", DayOfWeek == "Wednesday")

head(step_3)

Вывод:

##   GoingTo DayOfWeek
## 1    Home Wednesday
## 2    Home Wednesday
## 3    Home Wednesday
## 4    Home Wednesday
## 5    Home Wednesday
## 6    Home Wednesday	

Это не удобный способ выполнять много операций, особенно в ситуации с большим количеством шагов. Окружающая среда заканчивается множеством сохраненных объектов.

Давайте вместо этого будем использовать оператор конвейера%>%. Нам нужно только определить фрейм данных, используемый в начале, и весь процесс будет вытекать из него.

Основной синтаксис конвейера

New_df <- df %>%
step 1 %>%
step 2 %>%
...
arguments
- New_df: Name of the new data frame 
- df: Data frame used to compute the step
- step: Instruction for each step
- Note: The last instruction does not need the pipe operator `%`, you don't have instructions to pipe anymore
Note: Create a new variable is optional. If not included, the output will be displayed in the console.

Вы можете создать свой первый канал, выполнив шаги, перечисленные выше.

# Create the data frame filter_home_wed.It will be the object return at the end of the pipeline
filter_home_wed <- 

#Step 1
read.csv(PATH) % > % 

#Step 2
select(GoingTo, DayOfWeek) % > % 

#Step 3
filter(GoingTo == "Home",DayOfWeek == "Wednesday")
identical(step_3, filter_home_wed)

Вывод:

## [1] TRUE	

Мы готовы создать потрясающий набор данных с оператором конвейера.

организовать ()

В предыдущем уроке вы узнали, как сортировать значения с помощью функции sort (). Библиотека dplyr имеет свою функцию сортировки. Это работает как шарм с конвейером. Глаголrange () может переупорядочивать одну или несколько строк, по возрастанию (по умолчанию) или по убыванию.

- `arrange(A)`: Ascending sort of variable A
- `arrange(A, B)`: Ascending sort of variable A and B
- `arrange(desc(A), B)`: Descending sort of variable A and ascending sort of B		

Мы можем отсортировать расстояние по месту назначения.

# Sort by destination and distance
step_2_df <-step_1_df %>%
	arrange(GoingTo, Distance)
head<step_2_df)

Вывод:

##     X       Date StartTime DayOfWeek GoingTo Distance MaxSpeed AvgSpeed
## 1 193  7/25/2011     08:06    Monday     GSK    48.32    121.2     63.4
## 2 196  7/21/2011     07:59  Thursday     GSK    48.35    129.3     81.5
## 3 198  7/20/2011     08:24 Wednesday     GSK    48.50    125.8     75.7
## 4 189  7/27/2011     08:15 Wednesday     GSK    48.82    124.5     70.4
## 5  95 10/11/2011     08:25   Tuesday     GSK    48.94    130.8     85.7
## 6 171  8/10/2011     08:13 Wednesday     GSK    48.98    124.8     72.8
##   AvgMovingSpeed FuelEconomy TotalTime MovingTime Take407All
## 1           78.4        8.45      45.7       37.0         No
## 2           89.0        8.28      35.6       32.6        Yes
## 3           87.3        7.89      38.5       33.3        Yes
## 4           77.8        8.45      41.6       37.6         No
## 5           93.2        7.81      34.3       31.5        Yes
## 6           78.8        8.54      40.4       37.3         No

Резюме

В таблице ниже вы суммируете все операции, которые вы изучили в ходе обучения.

глагол Задача Код объяснение
проблеск проверить структуру df
glimpse(df)
Идентичен str ()
Выбрать() Выбрать / исключить переменные
select(df, A, B ,C)
Выберите переменные A, B и C
select(df, A:C)
Выберите все переменные от А до С
select(df, -C)
Исключить C
фильтр() Фильтруйте df на основе одного или нескольких условий
filter(df, condition1)
Одно состояние
filter(df, condition1
ondition2)
организовать () Сортировать набор данных с одной или несколькими переменными
arrange(A)
Восходящий вид переменной A
arrange(A, B)
Восходящий вид переменных A и B
arrange(desc(A), B)
Нисходящий вид переменной A и восходящий вид B
%>% Создать конвейер между каждым шагом
step 1 %>% step 2 %>% step 3