Saltar al contenido ForoHackers

Big data: por dónde empezar

Big data
#2922 · · Citar · Denunciar

Big data son datos demasiado grandes, demasiado rápidos o demasiado variados para una sola máquina y las herramientas corrientes. La respuesta es repartir el almacenamiento y el cálculo entre muchas máquinas, y llevar el código hasta los datos en lugar de los datos hasta el código. La dificultad es mantener el trabajo correcto y barato a medida que crece.

Conceptos clave

  • Almacenamiento distribuido: archivos o tablas divididos en bloques y copiados entre máquinas para sobrevivir a los fallos.
  • Procesamiento paralelo: MapReduce y sus sucesores dividen un trabajo en tareas independientes y combinan los resultados.
  • Particionado y shuffle: las claves reparten el trabajo; mover datos entre máquinas es el paso costoso.
  • Formatos columnares: guardar juntas y comprimidas las columnas, para que las consultas analíticas lean solo lo que necesitan.
  • Lotes y flujo: procesar el histórico almacenado de una vez, o los eventos según llegan.

Vocabulario

  • Las tres V: volumen, velocidad y variedad, la descripción habitual de lo que hace grandes a los datos.
  • Data lake: almacenamiento barato de datos en bruto, que se estructuran después.
  • Skew: reparto desigual entre particiones que deja a una máquina con casi todo el trabajo.
  • Escalar horizontalmente y verticalmente: añadir más máquinas, o comprar una más grande.

Qué estudiar, en orden

  1. Comprueba primero si basta una máquina con buenas herramientas; muchos problemas «grandes» caben en una laptop.
  2. Implementa el conteo de palabras al estilo MapReduce a mano, con los pasos map, shuffle y reduce.
  3. Ejecuta el mismo trabajo en un motor distribuido como Apache Spark y observa sus etapas.
  4. Compara un formato por filas como CSV con uno columnar como Parquet en tamaño y en tiempo de consulta.
  5. Provoca un skew con una clave desequilibrada y corrígelo.
  6. Construye una versión en flujo y anota qué cambia en el orden, el retraso y los fallos.

Etiquetas relacionadas

#distributed-systems #data-engineering #hpc #storage

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder