Skip to the content ForoHackers
Log inJoin

Big data: por dónde empezar

Big data
#2922 · · Quote · Report

Big data son datos demasiado grandes, demasiado rápidos o demasiado variados para una sola máquina y las herramientas corrientes. La respuesta es repartir el almacenamiento y el cálculo entre muchas máquinas, y llevar el código hasta los datos en lugar de los datos hasta el código. La dificultad es mantener el trabajo correcto y barato a medida que crece.

Conceptos clave

  • Almacenamiento distribuido: archivos o tablas divididos en bloques y copiados entre máquinas para sobrevivir a los fallos.
  • Procesamiento paralelo: MapReduce y sus sucesores dividen un trabajo en tareas independientes y combinan los resultados.
  • Particionado y shuffle: las claves reparten el trabajo; mover datos entre máquinas es el paso costoso.
  • Formatos columnares: guardar juntas y comprimidas las columnas, para que las consultas analíticas lean solo lo que necesitan.
  • Lotes y flujo: procesar el histórico almacenado de una vez, o los eventos según llegan.

Vocabulario

  • Las tres V: volumen, velocidad y variedad, la descripción habitual de lo que hace grandes a los datos.
  • Data lake: almacenamiento barato de datos en bruto, que se estructuran después.
  • Skew: reparto desigual entre particiones que deja a una máquina con casi todo el trabajo.
  • Escalar horizontalmente y verticalmente: añadir más máquinas, o comprar una más grande.

Qué estudiar, en orden

  1. Comprueba primero si basta una máquina con buenas herramientas; muchos problemas «grandes» caben en una laptop.
  2. Implementa el conteo de palabras al estilo MapReduce a mano, con los pasos map, shuffle y reduce.
  3. Ejecuta el mismo trabajo en un motor distribuido como Apache Spark y observa sus etapas.
  4. Compara un formato por filas como CSV con uno columnar como Parquet en tamaño y en tiempo de consulta.
  5. Provoca un skew con una clave desequilibrada y corrígelo.
  6. Construye una versión en flujo y anota qué cambia en el orden, el retraso y los fallos.

Etiquetas relacionadas

#distributed-systems #data-engineering #hpc #storage

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply