Skip to the content ForoHackers
Log inJoin

Ingeniería de datos: por dónde empezar

Data engineering
#402 · Ophuscado · · Report

La ingeniería de datos construye los sistemas que recogen, mueven, limpian y almacenan datos para que otros los puedan usar. Los analistas y los modelos valen lo que valgan los datos que reciben; el ingeniero consigue que lleguen a tiempo, con una forma conocida y con constancia de su origen.

Conceptos clave

  • Pipelines: pasos que extraen datos de las fuentes, los transforman y los cargan en un destino.
  • Lotes y flujo continuo: procesar los datos en bloques periódicos, o de forma continua según llegan los eventos.
  • Calidad de datos: comprobaciones de valores ausentes, duplicados, tipos erróneos y cambios inesperados.
  • Orquestación: programar pasos con dependencias, reintentos y alertas cuando uno falla.
  • Capas de almacenamiento: datos en bruto tal como llegaron, y encima tablas limpias y modeladas construidas a partir de ellos.

Vocabulario

  • ETL y ELT: transformar antes de cargar, o cargar primero y transformar dentro del almacén.
  • Almacén de datos: una base de datos organizada para analizar grandes históricos.
  • Trabajo idempotente: el que se puede volver a ejecutar sin riesgo y da el mismo resultado.
  • Linaje: el registro de dónde vino cada conjunto de datos y qué lo cambió.

Qué estudiar, en orden

  1. SQL y un lenguaje de scripts, como Python, con soltura.
  2. Escribe un script que lea un archivo o una interfaz, lo limpie y lo cargue en una base de datos.
  3. Hazlo idempotente, para que ejecutarlo dos veces no duplique filas.
  4. Aprende modelado dimensional: hechos, dimensiones y por qué las quieren los analistas.
  5. Programa el trabajo con un orquestador, con dependencias, reintentos y una alerta de fallo.
  6. Añade comprobaciones de calidad de datos y prueba una versión pequeña en flujo continuo con una cola de mensajes.

Etiquetas relacionadas

#databases #sql #big-data #messaging

Log in or join to reply.