Saltar al contenido ForoHackers

Colas de mensajes y streaming: por dónde empezar

Colas de mensajes y streaming
#434 · Ophuscado · · Denunciar

Las colas de mensajes y los flujos permiten que los programas se comuniquen sin esperarse: un productor escribe un mensaje, un broker lo guarda y los consumidores lo leen cuando pueden. Así se desacoplan los servicios en tiempo y en velocidad, se absorben los picos y se pueden reintentar tareas, a cambio de nuevas preguntas sobre el orden y los duplicados.

Conceptos clave

  • Cola y registro: una cola entrega cada mensaje a un consumidor y lo retira; un registro conserva los mensajes en orden para que muchos lectores los reproduzcan.
  • Publicación y suscripción: los productores envían a un tema, y cada suscriptor interesado recibe una copia.
  • Garantías de entrega: como máximo una vez, al menos una vez y exactamente una vez, y por qué la última es en realidad al menos una vez más un tratamiento idempotente.
  • Orden y particiones: el orden se mantiene dentro de una partición, así que las claves deciden qué mensajes siguen en secuencia.
  • Contrapresión: los consumidores lentos necesitan una forma de pedir a los productores rápidos que aflojen.
  • Gestión de fallos: confirmaciones, reintentos con espera creciente y colas de mensajes muertos para los mensajes venenosos.

Vocabulario

  • Broker: el servidor que guarda y encamina los mensajes.
  • Grupo de consumidores: consumidores que se reparten el trabajo de un tema.
  • Offset: la posición de un lector en un registro.
  • Cola de mensajes muertos: un lugar para los mensajes que fallan una y otra vez.
  • Event sourcing: guardar el estado de un sistema como la secuencia de eventos que lo produjo.

Qué estudiar, en orden

  1. Fundamentos de concurrencia y el problema del productor y el consumidor en un solo proceso.
  2. Ejecuta un broker abierto en local y envía mensajes entre dos programas pequeños.
  3. Haz que un consumidor se caiga a mitad de un mensaje y observa la reentrega; luego hazlo idempotente.
  4. Particiona un tema por clave y verifica el orden y el paralelismo.
  5. Construye una pequeña tubería de flujo que cuente eventos por ventanas de tiempo.

Etiquetas relacionadas

#distributed-systems #backend #architecture #concurrency #data-engineering

Inicia sesión o únete para responder.