Saltar al contenido ForoHackers

Colas de mensajes y streaming: por dónde empezar

Colas de mensajes y streaming
#2940 · · Citar · Denunciar

Las colas de mensajes y los flujos permiten que los programas se comuniquen sin esperarse: un productor escribe un mensaje, un broker lo guarda y los consumidores lo leen cuando pueden. Así se desacoplan los servicios en tiempo y en velocidad, se absorben los picos y se pueden reintentar tareas, a cambio de nuevas preguntas sobre el orden y los duplicados.

Conceptos clave

  • Cola y registro: una cola entrega cada mensaje a un consumidor y lo retira; un registro conserva los mensajes en orden para que muchos lectores los reproduzcan.
  • Publicación y suscripción: los productores envían a un tema, y cada suscriptor interesado recibe una copia.
  • Garantías de entrega: como máximo una vez, al menos una vez y exactamente una vez, y por qué la última es en realidad al menos una vez más un tratamiento idempotente.
  • Orden y particiones: el orden se mantiene dentro de una partición, así que las claves deciden qué mensajes siguen en secuencia.
  • Contrapresión: los consumidores lentos necesitan una forma de pedir a los productores rápidos que aflojen.
  • Gestión de fallos: confirmaciones, reintentos con espera creciente y colas de mensajes muertos para los mensajes venenosos.

Vocabulario

  • Broker: el servidor que guarda y encamina los mensajes.
  • Grupo de consumidores: consumidores que se reparten el trabajo de un tema.
  • Offset: la posición de un lector en un registro.
  • Cola de mensajes muertos: un lugar para los mensajes que fallan una y otra vez.
  • Event sourcing: guardar el estado de un sistema como la secuencia de eventos que lo produjo.

Qué estudiar, en orden

  1. Fundamentos de concurrencia y el problema del productor y el consumidor en un solo proceso.
  2. Ejecuta un broker abierto en local y envía mensajes entre dos programas pequeños.
  3. Haz que un consumidor se caiga a mitad de un mensaje y observa la reentrega; luego hazlo idempotente.
  4. Particiona un tema por clave y verifica el orden y el paralelismo.
  5. Construye una pequeña tubería de flujo que cuente eventos por ventanas de tiempo.

Etiquetas relacionadas

#distributed-systems #backend #architecture #concurrency #data-engineering

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder