Skip to the content ForoHackers
Log inJoin

Ingeniería de datos: por dónde empezar

Data engineering
#2908 · · Quote · Report

La ingeniería de datos construye los sistemas que recogen, mueven, limpian y almacenan datos para que otros los puedan usar. Los analistas y los modelos valen lo que valgan los datos que reciben; el ingeniero consigue que lleguen a tiempo, con una forma conocida y con constancia de su origen.

Conceptos clave

  • Pipelines: pasos que extraen datos de las fuentes, los transforman y los cargan en un destino.
  • Lotes y flujo continuo: procesar los datos en bloques periódicos, o de forma continua según llegan los eventos.
  • Calidad de datos: comprobaciones de valores ausentes, duplicados, tipos erróneos y cambios inesperados.
  • Orquestación: programar pasos con dependencias, reintentos y alertas cuando uno falla.
  • Capas de almacenamiento: datos en bruto tal como llegaron, y encima tablas limpias y modeladas construidas a partir de ellos.

Vocabulario

  • ETL y ELT: transformar antes de cargar, o cargar primero y transformar dentro del almacén.
  • Almacén de datos: una base de datos organizada para analizar grandes históricos.
  • Trabajo idempotente: el que se puede volver a ejecutar sin riesgo y da el mismo resultado.
  • Linaje: el registro de dónde vino cada conjunto de datos y qué lo cambió.

Qué estudiar, en orden

  1. SQL y un lenguaje de scripts, como Python, con soltura.
  2. Escribe un script que lea un archivo o una interfaz, lo limpie y lo cargue en una base de datos.
  3. Hazlo idempotente, para que ejecutarlo dos veces no duplique filas.
  4. Aprende modelado dimensional: hechos, dimensiones y por qué las quieren los analistas.
  5. Programa el trabajo con un orquestador, con dependencias, reintentos y una alerta de fallo.
  6. Añade comprobaciones de calidad de datos y prueba una versión pequeña en flujo continuo con una cola de mensajes.

Etiquetas relacionadas

#databases #sql #big-data #messaging

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply