Saltar al contenido ForoHackers

Ingeniería de datos: por dónde empezar

Ingeniería de datos
#2908 · · Citar · Denunciar

La ingeniería de datos construye los sistemas que recogen, mueven, limpian y almacenan datos para que otros los puedan usar. Los analistas y los modelos valen lo que valgan los datos que reciben; el ingeniero consigue que lleguen a tiempo, con una forma conocida y con constancia de su origen.

Conceptos clave

  • Pipelines: pasos que extraen datos de las fuentes, los transforman y los cargan en un destino.
  • Lotes y flujo continuo: procesar los datos en bloques periódicos, o de forma continua según llegan los eventos.
  • Calidad de datos: comprobaciones de valores ausentes, duplicados, tipos erróneos y cambios inesperados.
  • Orquestación: programar pasos con dependencias, reintentos y alertas cuando uno falla.
  • Capas de almacenamiento: datos en bruto tal como llegaron, y encima tablas limpias y modeladas construidas a partir de ellos.

Vocabulario

  • ETL y ELT: transformar antes de cargar, o cargar primero y transformar dentro del almacén.
  • Almacén de datos: una base de datos organizada para analizar grandes históricos.
  • Trabajo idempotente: el que se puede volver a ejecutar sin riesgo y da el mismo resultado.
  • Linaje: el registro de dónde vino cada conjunto de datos y qué lo cambió.

Qué estudiar, en orden

  1. SQL y un lenguaje de scripts, como Python, con soltura.
  2. Escribe un script que lea un archivo o una interfaz, lo limpie y lo cargue en una base de datos.
  3. Hazlo idempotente, para que ejecutarlo dos veces no duplique filas.
  4. Aprende modelado dimensional: hechos, dimensiones y por qué las quieren los analistas.
  5. Programa el trabajo con un orquestador, con dependencias, reintentos y una alerta de fallo.
  6. Añade comprobaciones de calidad de datos y prueba una versión pequeña en flujo continuo con una cola de mensajes.

Etiquetas relacionadas

#databases #sql #big-data #messaging

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder