Big data son datos demasiado grandes, demasiado rápidos o demasiado variados para una sola máquina y las herramientas corrientes. La respuesta es repartir el almacenamiento y el cálculo entre muchas máquinas, y llevar el código hasta los datos en lugar de los datos hasta el código. La dificultad es mantener el trabajo correcto y barato a medida que crece.
Conceptos clave
- Almacenamiento distribuido: archivos o tablas divididos en bloques y copiados entre máquinas para sobrevivir a los fallos.
- Procesamiento paralelo: MapReduce y sus sucesores dividen un trabajo en tareas independientes y combinan los resultados.
- Particionado y shuffle: las claves reparten el trabajo; mover datos entre máquinas es el paso costoso.
- Formatos columnares: guardar juntas y comprimidas las columnas, para que las consultas analíticas lean solo lo que necesitan.
- Lotes y flujo: procesar el histórico almacenado de una vez, o los eventos según llegan.
Vocabulario
- Las tres V: volumen, velocidad y variedad, la descripción habitual de lo que hace grandes a los datos.
- Data lake: almacenamiento barato de datos en bruto, que se estructuran después.
- Skew: reparto desigual entre particiones que deja a una máquina con casi todo el trabajo.
- Escalar horizontalmente y verticalmente: añadir más máquinas, o comprar una más grande.
Qué estudiar, en orden
- Comprueba primero si basta una máquina con buenas herramientas; muchos problemas «grandes» caben en una laptop.
- Implementa el conteo de palabras al estilo MapReduce a mano, con los pasos map, shuffle y reduce.
- Ejecuta el mismo trabajo en un motor distribuido como Apache Spark y observa sus etapas.
- Compara un formato por filas como CSV con uno columnar como Parquet en tamaño y en tiempo de consulta.
- Provoca un skew con una clave desequilibrada y corrígelo.
- Construye una versión en flujo y anota qué cambia en el orden, el retraso y los fallos.