Datos prolijos

Formato ancho y formato largo

En el mundillo de R se suele recomendar usar los datos tidy o prolijos. No se trata, claro, de los datos en sí mismos: se trata la forma que tienen los datos. Siguiendo –de lejos- a Whickham 2014 los tidy data dos propiedades:

1. Son rectangulares. Es decir, todas la columnas tienen el mismo largo y todas las filas tienen el mismo largo¹. Si hay valores faltantes se rellenan, generalmente con NA.

2. Cada columna es una (y solo una) variable y cada fila una observación.

A manera de ejemplo, los datos de la base de la Encuesta Nacional de Migración tienen este formato. Se incluye el código para generar esos datos, que se descargan directamente del servidor de la UNAM en el que están alojados.

library(foreign)
library(tidyverse)
library(knitr)
library(hrbrthemes)

# R permite definir un camino hacia los datos como URL, es decir, podemos leer directamente un archivo desde una dirección a través de http.
# Sin embargo es recomendable crear una copia local de los datos 1) por velocidad y 2) para no abusar del servidor que nos ofrece los datos, 3) por si los datos desaparecen o cambian de ubicación.

migracion <- read.spss("http://www.losmexicanos.unam.mx/migracion/encuesta_nacional/base_datos/Encuesta_Nacional_de_Migracion.sav", 
                       to.data.frame = TRUE)
diccionario <- tibble(nombre = names(migracion), 
                    etiquetas = str_trim(attr(migracion, "variable.labels")))
migracion <- as.tibble(migracion)
migracion %>% 
  sample_n(3) %>% 
  select(edo, starts_with("p7_"), Pondi2) %>% 
  kable(caption = "Cada columna es una variable, cada fila una observación.")

En principio no es muy prolijo, los nombres de columnas no son muy claros, los estados están codificados numéricamente y vaya a saber que es Pondi2. Sin embargo se cumplen las reglas mencionadas.

Formato ancho, formato largo

Usar siempre el mismo formato para los datos nos ayuda a tener expectativas sobre cómo van a comportarse cuando los procesemos para analizarlos, además nos permite reutilizar código sin muchas modificaciones. Sin embargo para algunas operaciones es más práctico dar a los datos un tipo de diferente de formato: pares² de claves y valores. El formato básico de claves y valores tiene dos columnas –y sólo dos columnas, independientemente de la cantidad de variables con la que estemos tratando. Una columna registra las claves, en este caso los nombres de cada variable. La otra registra el valor para esa variable. En este contexto usamos de manera intercambiable “pares de clave-valor” y “formato largo”.

migracion %>% 
  sample_n(3) %>% 
  select(edo, starts_with("p7_"), Pondi2) %>% 
  gather() %>% 
  kable(caption = "Los nombre de columna ahora están en filas.")

Los datos son exactamente los mismos y podemos revertir el proceso, regresando los datos al formato original. Lo que hicimos fue pasar de unos datos en formato ancho –muchas columnas, pocas filas- a uno largo –pocas columnas, muchas filas, la información de los nombres de columa ahora pasó a una fila. Como se ve en el código, lo hicimos con la función gather(), del paquete tidyr que se encuentra a su vez en el metapaquete tidyverse.

¿Para qué usar formato largo?

El formato largo es muy útil en varios escenarios en los que necesitamos hacer explícita la información sobre los niveles de agrupamiento de nuestros datos. Al convertirlos al formato largo lo que antes eran columnas ahora serán grupos y, aquí la gran ventaja, podemos tener más de un grupo activo.

En la práctica transformamos nuestros datos a formato largo para aplicar operaciones agrupadas con group_by a través de mutate() o summarise() o para gráficos de ggplot. En este último caso nos permite usar las propiedades de agrupación de los datos con facet_wrap(), fill() o color. Las funciones que mencionamos aprovechan muy bien a los datos largos, ya que podemos utilizar a la/s columna/s de clave/s para crear grupos y aplicar funciones sobre esos grupos, sin necesidad de iterar sobre listas o data frames y pudiendo aprovechar más de un nivel de agrupamiento.

Aplicación a un gráfico exploratorio con múltiples variables

En el caso de los gráficos el formato largo simplifica graficar más de una variable, es decir, algunas o todas la columnas de un data frame. En lugar de graficar cada columna por separado las unimos en una sola columna alargándolas y las graficamos a todas de una vez, separando a los grupos por las claves. En este ejemplo en lugar de generar una par de claves y valores vamos a necesitar una terna de claves y valores: como estamos trabajando con datos ponderados es necesario convervar los ponderadores cuando hacemos la transformación a formato largo.

migracion %>% 
  head() %>% 
  select(starts_with("p7_"), Pondi2) %>% 
  kable()

Formato largo: toma 1.

La primera aproximación es aplicar la función gather() con los argumentos por defecto³ y ver que pasa. Reduciré el número de preguntas para que el resultado sea más facil de visualizar y comprender.

migracion %>% 
  head %>%                         #La cabeza, sólo las primeras filas
  select(p7_1, p7_2, Pondi2) %>%  
  gather() %>% 
  kable(caption = "El ponderador no va ahí...")

¿Lo logramos? Sí, en parte. Las preguntas ahora están en la columna key⁴ y las respuestas en value⁵. Sin embargo el ponderador también está en filas a aparte. Para poder aplicarlo a momento de hacer los conteos necesitamos que el ponderador sea una columna separada, aparte de key y value, que repita su magnitud para cada par de pregunta/respuesta. Necesitamos un trío de claves y valores. gather contempla esta situación y tiene un operador muy simple para indicarle que no queremos que una variable se convierta en pares de clave-valor y se conserve en la estructura original, repitíendose para da grupo. El operador es el signo menos -, que antecede el nombre de columna o columnas para las que queremos este comportamiento.

Por defecto gather utiliza los nombres key y value para las columnas de claves y valor. Sin embargo es buena idea no usar estos nombres genéricos no son muy útiles –podrían ser cualquier cosa- y es buena práctica usar nombres significativos, relacionados con nuestros datos. En este caso podrías llamar a esas columnas Pregunta y Respuesta, ya que contienen preguntas y respuestas.

Cuando queremos excluir una columna de la transformación a formato largo es necesario suministrar nombres para las columnas de claves y valores. El operador - no funciona si no suministramos los nombres. Los nombres de clave y valor son los dos primeros argumentos de la función, las variables excluidas con - son los argumentos sucesivos.

Formato largo: toma 2.

migracion %>% 
  head %>% 
  select(p7_1, p7_2, Pondi2) %>%  
  gather(Pregunta, Respuesta, -Pondi2) %>% 
  kable(caption = "El ponderador en columna aparte.")

Conteos agrupados y ponderados

Con la estructura de datos correcta podemos hacer los conteos de las respuestas a cada pregunta aplicando el ponderador muestal. Seguimos con el ejemplo con pocas columnas para facilitar la lectura de las salidas, pero podemos escalar este procedimiento a tantas columnas como querramos, la disponibilidad de memoria RAM es el límite.

Pasos:

1. Aplicamos los agrupamientos a los datos transformados. En este caso queremos un grupo para cada combinación de pregunta/respuesta.
2. Aplicamos el conteo indicando a Pondi2 como wt= o ponderador.
3. Asignamos un nombre al data.frame con los conteos. No es estrictamente necesario, pero en este caso corta el código y hace más legible la sintaxis posterior.

migracion %>% 
  select(p7_1, p7_2, Pondi2) %>%  
  gather(Pregunta, Respuesta, -Pondi2) %>% 
  group_by(Pregunta, Respuesta) %>% 
  count(wt = Pondi2) -> conteos_p7
kable(conteos_p7, caption = "Conteos finales, casi listos para graficar")

Etiquetas de las variables

diccionario %>% 
  filter(str_detect(nombre, "p7_")) %>% 
  kable(caption = "Relación de nombres cortos y largos del bloque p7.")

conteos_p7 %>% 
  rename("nombre" = Pregunta) %>% 
  kable(caption = "Al cambiar el nombre aquí no necesito especificar claves de unión en el join")

conteos_p7 %>% 
  rename("nombre" = Pregunta) %>% 
  left_join(diccionario) %>% 
  kable(caption = "La columna etiqueta tiene los nombres largos que usaré para graficar")

conteos_p7 %>% 
  rename("nombre" = Pregunta) %>% 
  left_join(diccionario) %>%         #Hasta acá repito lo que hice en el bloque anterior.
  mutate(etiquetas = str_remove(etiquetas, "7 ¿Estaría dispuesto o no estaría dispuesto a permitir que en su casa vivieran personas de ")) %>% 
  kable(caption = "Más legible")

conteos_p7 %>% 
  rename("nombre" = Pregunta) %>% 
  left_join(diccionario) %>%         #Hasta acá repito lo que hice en el bloque anterior.
  mutate(etiquetas = str_wrap(etiquetas, 20)) 

## # A tibble: 10 x 4
## # Groups:   nombre, Respuesta [10]
##    nombre Respuesta           n etiquetas                                 
##    <chr>  <chr>           <dbl> <chr>                                     
##  1 p7_1   NC             715096 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  2 p7_1   No           13580012 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  3 p7_1   NS            2021106 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  4 p7_1   Sí           43552653 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  5 p7_1   Sí, en parte 19951882 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  6 p7_2   NC             835828 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  7 p7_2   No           11550564 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  8 p7_2   NS            2964105 "7 ¿Estaría dispuesto\no no estaría\ndisp…
##  9 p7_2   Sí           42893890 "7 ¿Estaría dispuesto\no no estaría\ndisp…
## 10 p7_2   Sí, en parte 21576362 "7 ¿Estaría dispuesto\no no estaría\ndisp…

Gráfico

Ya tenemos todo preparado para hacer el gráfico.

1. Los conteos agrupados y ponderados.
2. Los nombre de etiqueta larga propiamente formateados para que hacerlos legibles.

Pasos:

1. Ubicar la etiqueta de cada pregunta en el eje x y los conteos de respuestas en el eje y.
2. Utilizar el argumento fill = de ggplot para que cada respuesta tenga un color de relleno⁶ igual
3. Especificar position = "dodge"⁷ a geom_bar para barras lado a lado. Por defecto position = "stack" y se generan barras apiladas.
4. Ubicar en el subtítulo del gráfico la parte repetida de la pregunta.

migracion %>% 
  select(starts_with("p7_"), Pondi2) %>%  
  gather(Pregunta, Respuesta, -Pondi2) %>% 
  group_by(Pregunta, Respuesta) %>% 
  count(wt = Pondi2) %>% 
  rename("nombre" = Pregunta) %>% 
  left_join(diccionario) %>%
  mutate(etiquetas = str_remove(etiquetas, 
                                "7 ¿Estaría dispuesto o no estaría dispuesto a permitir que en su casa vivieran personas "), 
         etiquetas = str_wrap(etiquetas, 15)) %>% 
  ungroup ()%>% 
  mutate(Respuesta = factor(Respuesta, levels = c("Sí", "Sí, en parte", "No", "NS", "NC"))) -> 
           conteos_p7_etiquetados

conteos_p7_etiquetados %>% 
  ggplot(aes(x = etiquetas, y = n, fill = Respuesta)) + 
    geom_col(position = "dodge") + 
    labs(title = "Actitudes de tolerancia en México", 
       subtitle = "¿Estaría dispuesto o no estaría dispuesto a permitir que en su casa vivieran personas...",
       caption = "Elaboración propia\nDatos Encuesta Nacional de Migración", 
       x = NULL, 
       y = NULL) + 
    scale_y_continuous(labels = scales::comma) + 
    theme_ipsum_rc() 

Descargar la versión para impresión de este gráfico.