Skip to the content ForoHackers
Log inJoin

Big data: por dónde empezar

Big data
#416 · Ophuscado · · Report

Big data son datos demasiado grandes, demasiado rápidos o demasiado variados para una sola máquina y las herramientas corrientes. La respuesta es repartir el almacenamiento y el cálculo entre muchas máquinas, y llevar el código hasta los datos en lugar de los datos hasta el código. La dificultad es mantener el trabajo correcto y barato a medida que crece.

Conceptos clave

  • Almacenamiento distribuido: archivos o tablas divididos en bloques y copiados entre máquinas para sobrevivir a los fallos.
  • Procesamiento paralelo: MapReduce y sus sucesores dividen un trabajo en tareas independientes y combinan los resultados.
  • Particionado y shuffle: las claves reparten el trabajo; mover datos entre máquinas es el paso costoso.
  • Formatos columnares: guardar juntas y comprimidas las columnas, para que las consultas analíticas lean solo lo que necesitan.
  • Lotes y flujo: procesar el histórico almacenado de una vez, o los eventos según llegan.

Vocabulario

  • Las tres V: volumen, velocidad y variedad, la descripción habitual de lo que hace grandes a los datos.
  • Data lake: almacenamiento barato de datos en bruto, que se estructuran después.
  • Skew: reparto desigual entre particiones que deja a una máquina con casi todo el trabajo.
  • Escalar horizontalmente y verticalmente: añadir más máquinas, o comprar una más grande.

Qué estudiar, en orden

  1. Comprueba primero si basta una máquina con buenas herramientas; muchos problemas «grandes» caben en una laptop.
  2. Implementa el conteo de palabras al estilo MapReduce a mano, con los pasos map, shuffle y reduce.
  3. Ejecuta el mismo trabajo en un motor distribuido como Apache Spark y observa sus etapas.
  4. Compara un formato por filas como CSV con uno columnar como Parquet en tamaño y en tiempo de consulta.
  5. Provoca un skew con una clave desequilibrada y corrígelo.
  6. Construye una versión en flujo y anota qué cambia en el orden, el retraso y los fallos.

Etiquetas relacionadas

#distributed-systems #data-engineering #hpc #storage

Log in or join to reply.