Las colas de mensajes y los flujos permiten que los programas se comuniquen sin esperarse: un productor escribe un mensaje, un broker lo guarda y los consumidores lo leen cuando pueden. Así se desacoplan los servicios en tiempo y en velocidad, se absorben los picos y se pueden reintentar tareas, a cambio de nuevas preguntas sobre el orden y los duplicados.
Conceptos clave
- Cola y registro: una cola entrega cada mensaje a un consumidor y lo retira; un registro conserva los mensajes en orden para que muchos lectores los reproduzcan.
- Publicación y suscripción: los productores envían a un tema, y cada suscriptor interesado recibe una copia.
- Garantías de entrega: como máximo una vez, al menos una vez y exactamente una vez, y por qué la última es en realidad al menos una vez más un tratamiento idempotente.
- Orden y particiones: el orden se mantiene dentro de una partición, así que las claves deciden qué mensajes siguen en secuencia.
- Contrapresión: los consumidores lentos necesitan una forma de pedir a los productores rápidos que aflojen.
- Gestión de fallos: confirmaciones, reintentos con espera creciente y colas de mensajes muertos para los mensajes venenosos.
Vocabulario
- Broker: el servidor que guarda y encamina los mensajes.
- Grupo de consumidores: consumidores que se reparten el trabajo de un tema.
- Offset: la posición de un lector en un registro.
- Cola de mensajes muertos: un lugar para los mensajes que fallan una y otra vez.
- Event sourcing: guardar el estado de un sistema como la secuencia de eventos que lo produjo.
Qué estudiar, en orden
- Fundamentos de concurrencia y el problema del productor y el consumidor en un solo proceso.
- Ejecuta un broker abierto en local y envía mensajes entre dos programas pequeños.
- Haz que un consumidor se caiga a mitad de un mensaje y observa la reentrega; luego hazlo idempotente.
- Particiona un tema por clave y verifica el orden y el paralelismo.
- Construye una pequeña tubería de flujo que cuente eventos por ventanas de tiempo.
Etiquetas relacionadas
#distributed-systems #backend #architecture #concurrency #data-engineering