update 2.

book/2_data_transformation.qmd

@@ -31,6 +31,7 @@ tibble(x = 1:100,
 
 Мы будем использовать `tibble()` для саздание таблиц, но чаще всего мы будем считывать данные при помощи функций `read_csv()`,  `read_tsv()` и прочих, которые по умолчанию преобразуют таблицу в формат `tibble`. 
 
+
 ## Использование конвеера (пайпа)
 
 В нашем коде мы часто будем использовать знаки конвеера (или пайпа): `|>` (также можно встретить популярный ранее `%>%`). Конвеер призван показывать последовательность действий. Сочетание клавиш для написание конвеера: `Ctrl/Cmd + M`.
@@ -251,6 +252,8 @@ zhadina |>
 
 ## Функция `group_by() |> summarise()` и `group_by() |> mutate()`
 
+
+
 ```{r}
 zhadina |> 
   group_by(type) |> 
@@ -313,30 +316,45 @@ zhadina |>
 
 ## Функции семейства `pivot_...()`
 
+Основная концепция пакет `tidyverse` строится вокруг понятия опрятный формат (tidy data). Опрятные данные означает приведение табличных данных к такому формату, в котором:
+
+- Каждая переменная имеет собственный столбец
+- Каждый наблюдение имеет собственную строку
+- Каждое значение имеет свою собственную ячейку
+
+Такое представление данных делает любые трансформации и визуализацию делом нескольких строк.
+
+Однако данный подход не дает четких инструкций по поводу того, что делать с наблюдениями похожего типа, которые сделаны по поводу одной единицы. Рассмотрим на примере [данных](https://raw.githubusercontent.com/agricolamz/daR4hs/main/data/w2_india_languages.csv) количества носителей разных языков Индии:
+
 ```{r}
 india_langauges_wide <- read_csv("https://raw.githubusercontent.com/agricolamz/daR4hs/main/data/w2_india_languages.csv")
+india_langauges_wide
+```
+
+Сейчас данные в так называемом **широком** формате. Хинди в датасете встречается единожды, но значения сколько носителей выучили его как первый/второй/третий/все вместе записаны в виде отдельных столбцов.
 
+```{r}
 india_langauges_wide |> 
   pivot_longer(names_to = "L", values_to = "value", n_L1_sp:n_all_sp)
+```
+
+Теперь данные представлены в длинном формате, который удобен для визуализации и каких-то трансформаций. Хинди встречается в датасете четырежды, однако информация про то какая группа носителей имеется в виду записана в переменную `L`. Более того, информация в столбце `n_all_sp` изначальна была лишней: эта инфомрация уже содержится как сумма всех остальных столбцов. Мы можем отфильтровать значения `n_all_sp` и получить их снова:
 
+```{r}
 india_langauges_wide |> 
   pivot_longer(names_to = "L", values_to = "value", starts_with("n_")) |> 
   filter(L != "n_all_sp") |> 
   group_by(L) |> 
   summarise(sum = sum(value),
             mean = mean(value))
+```
 
+Функция `pivot_wider()` позволяет вновь перевести данные в широкий формат, который удобен для представления данных людям:
+
+```{r}
 india_langauges_wide |> 
   pivot_longer(names_to = "L", values_to = "value", starts_with("n_")) |> 
-  filter(L != "n_all_sp") ->
-  india_langauges_long
-
-india_langauges_long |> 
   pivot_wider(names_from = "L", values_from = "value")
-
-india_langauges_long |> 
-  slice_sample(n = 30) |> 
-  pivot_wider(names_from = "L", values_from = "value", values_fill = 0)
 ```
 
 ## Функции семейства `bind_...()`