La ingeniería de datos construye los sistemas que recogen, mueven, limpian y almacenan datos para que otros los puedan usar. Los analistas y los modelos valen lo que valgan los datos que reciben; el ingeniero consigue que lleguen a tiempo, con una forma conocida y con constancia de su origen.
Conceptos clave
- Pipelines: pasos que extraen datos de las fuentes, los transforman y los cargan en un destino.
- Lotes y flujo continuo: procesar los datos en bloques periódicos, o de forma continua según llegan los eventos.
- Calidad de datos: comprobaciones de valores ausentes, duplicados, tipos erróneos y cambios inesperados.
- Orquestación: programar pasos con dependencias, reintentos y alertas cuando uno falla.
- Capas de almacenamiento: datos en bruto tal como llegaron, y encima tablas limpias y modeladas construidas a partir de ellos.
Vocabulario
- ETL y ELT: transformar antes de cargar, o cargar primero y transformar dentro del almacén.
- Almacén de datos: una base de datos organizada para analizar grandes históricos.
- Trabajo idempotente: el que se puede volver a ejecutar sin riesgo y da el mismo resultado.
- Linaje: el registro de dónde vino cada conjunto de datos y qué lo cambió.
Qué estudiar, en orden
- SQL y un lenguaje de scripts, como Python, con soltura.
- Escribe un script que lea un archivo o una interfaz, lo limpie y lo cargue en una base de datos.
- Hazlo idempotente, para que ejecutarlo dos veces no duplique filas.
- Aprende modelado dimensional: hechos, dimensiones y por qué las quieren los analistas.
- Programa el trabajo con un orquestador, con dependencias, reintentos y una alerta de fallo.
- Añade comprobaciones de calidad de datos y prueba una versión pequeña en flujo continuo con una cola de mensajes.