Работали ли вы с RabbitMQ?

Question

Работали ли вы с RabbitMQ?

Тип вопроса: Потоковая обработка и Kafka Вероятность: 33% Категория: Data Инженер

Ответ

Да, я использовал RabbitMQ в микросервисных архитектурах в качестве брокера сообщений для асинхронной коммуникации и распределения задач.

Основные сценарии применения и опыт:

Очереди задач (Task Queues): Настраивал рабочие очереди (work queues) для распределения длительных задач (например, генерации отчетов, отправки email) между несколькими воркерами. Использовал Round-robin и Fair dispatch для балансировки нагрузки.
Обменники (Exchanges): Применял разные типы обменников: direct для маршрутизации по ключу, fanout для широковещательной рассылки (например, уведомление всех сервисов об обновлении конфигурации) и topic для сложной маршрутизации по шаблонам.
Надежность: Гарантировал доставку сообщений через подтверждения (acknowledgments), сохранял сообщения на диск (durable), использовал Publisher Confirms.
Мониторинг и управление: Работал с HTTP API и веб-интерфейсом для мониторинга очередей, обработки заторов (dead letter exchanges).

Пример публикации сообщения с использованием библиотеки pika для Python:

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# Объявляем durable очередь
channel.queue_declare(queue='task_queue', durable=True)

# Публикуем persistent сообщение
channel.basic_publish(
    exchange='',
    routing_key='task_queue',
    body='Hello World!',
    properties=pika.BasicProperties(
        delivery_mode=pika.DeliveryMode.Persistent  # Делаем сообщение persistent
    )
)
connection.close()

RabbitMQ отлично подходил для сценариев, где важна гарантированная доставка и гибкая маршрутизация, а не сверхвысокая пропускная способность.

Ответ 18+ 🔞

Да ты представь, я с этой мартышкой-кроликом, RabbitMQ, на реальных проектах работал. В микросервисах он — как тот самый мужик с гитарой на общей кухне в общаге: все ему свои поручения кидают, а он их потихоньку разносит, пока остальные водку пьют. Опыт, можно сказать, пиздопроебибна.

Где я его, блядь, применял и что делал:

Очереди для заданий (Task Queues): Это когда у тебя какая-нибудь долбаная задача, типа сгенерировать отчёт на овердохуища страниц или разослать тысячу писем. Ты её не в лоб делаешь, а кидаешь в очередь, а там уже несколько воркеров-работяг её разгребают. Настраивал и Round-robin (всем поровну, как в детсаду), и Fair dispatch (чтобы ленивые работяги не простаивали, а затык не образовывался).
Обменники (Exchanges): Вот тут, ёпта, начинается магия. direct — это когда пишешь конкретному челу по имени (ключу). fanout — орал на всю деревню, что водка кончилась, чтобы все услышали. Идеально для уведомлений всем сервисам. А topic — это уже высший пилотаж, маршрутизация по шаблонам, типа «всем, кто интересуется пивом и футболом».
Надёжность, ёб твою мать: Чтобы сообщения не терялись, как носки в стирке. Включал подтверждения (acknowledgments), чтобы воркер не сказал «сделал» и не сдох. Сообщения на диск сохранял (durable), чтобы даже если кролик сдохнет — всё восстановилось. И Publisher Confirms — чтобы отправитель точно знал, что его посылку приняли, а не выкинули в сраку.
Мониторинг: Через веб-морду смотрел, не захлебнулись ли очереди, не пора ли подкинуть ещё воркеров. Мёртвые письма (dead letter exchanges) обрабатывал — это когда сообщение уже никто не может взять, и его надо в отдельный угол отправить на разбор полётов.

Вот, смотри, как код выглядит на Python с библиотекой pika:

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

# Объявляем durable очередь
channel.queue_declare(queue='task_queue', durable=True)

# Публикуем persistent сообщение
channel.basic_publish(
    exchange='',
    routing_key='task_queue',
    body='Hello World!',
    properties=pika.BasicProperties(
        delivery_mode=pika.DeliveryMode.Persistent  # Делаем сообщение persistent
    )
)
connection.close()

В общем, RabbitMQ — это не про скорость, как у ракеты. Это про то, чтобы всё дошло точно, даже если полсети накрылось медным тазом. Когда нужна гарантированная доставка и гибкая маршрутизация — он хуй с горы, лучший выбор. А если тебе просто миллиарды сообщений в секунду швырять — тогда смотри в сторону других ребят, там уже совсем другая история.