Skip to the content ForoHackers
Log inJoin

Colas de mensajes y streaming: por dónde empezar

Message queues and streaming
#2940 · · Quote · Report

Las colas de mensajes y los flujos permiten que los programas se comuniquen sin esperarse: un productor escribe un mensaje, un broker lo guarda y los consumidores lo leen cuando pueden. Así se desacoplan los servicios en tiempo y en velocidad, se absorben los picos y se pueden reintentar tareas, a cambio de nuevas preguntas sobre el orden y los duplicados.

Conceptos clave

  • Cola y registro: una cola entrega cada mensaje a un consumidor y lo retira; un registro conserva los mensajes en orden para que muchos lectores los reproduzcan.
  • Publicación y suscripción: los productores envían a un tema, y cada suscriptor interesado recibe una copia.
  • Garantías de entrega: como máximo una vez, al menos una vez y exactamente una vez, y por qué la última es en realidad al menos una vez más un tratamiento idempotente.
  • Orden y particiones: el orden se mantiene dentro de una partición, así que las claves deciden qué mensajes siguen en secuencia.
  • Contrapresión: los consumidores lentos necesitan una forma de pedir a los productores rápidos que aflojen.
  • Gestión de fallos: confirmaciones, reintentos con espera creciente y colas de mensajes muertos para los mensajes venenosos.

Vocabulario

  • Broker: el servidor que guarda y encamina los mensajes.
  • Grupo de consumidores: consumidores que se reparten el trabajo de un tema.
  • Offset: la posición de un lector en un registro.
  • Cola de mensajes muertos: un lugar para los mensajes que fallan una y otra vez.
  • Event sourcing: guardar el estado de un sistema como la secuencia de eventos que lo produjo.

Qué estudiar, en orden

  1. Fundamentos de concurrencia y el problema del productor y el consumidor en un solo proceso.
  2. Ejecuta un broker abierto en local y envía mensajes entre dos programas pequeños.
  3. Haz que un consumidor se caiga a mitad de un mensaje y observa la reentrega; luego hazlo idempotente.
  4. Particiona un tema por clave y verifica el orden y el paralelismo.
  5. Construye una pequeña tubería de flujo que cuente eventos por ventanas de tiempo.

Etiquetas relacionadas

#distributed-systems #backend #architecture #concurrency #data-engineering

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply