Что такое consumer group в системах обмена сообщениями (Kafka)?

«Что такое consumer group в системах обмена сообщениями (Kafka)?» — вопрос из категории Брокеры сообщений, который задают на 10% собеседований Java Разработчик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Consumer Group — это логическая группа потребителей (консьюмеров), которые совместно обрабатывают сообщения из одного или нескольких топиков. Это основной механизм для масштабирования обработки и обеспечения отказоустойчивости.

Ключевые принципы:

  1. Распределение партиций: Каждая партиция топика потребляется только одним консьюмером в рамках группы.
  2. Балансировка нагрузки: Партиции автоматически перераспределяются между консьюмерами группы при их добавлении или удалении (rebalance).
  3. Параллельная обработка: Группа позволяет обрабатывать сообщения из нескольких партиций параллельно.

Пример: Топик orders с 4 партициями и группа notification-service с 2 консьюмерами.

Топик: orders [P0, P1, P2, P3]
Consumer Group: notification-service
  - Consumer C1 -> обрабатывает P0, P2
  - Consumer C2 -> обрабатывает P1, P3

Если добавить C3, произойдет rebalance, и нагрузка распределится на троих (например, C1:P0, C2:P1, C3:P2,P3).

Важные аспекты:

  • group.id: Уникальный идентификатор группы, задаваемый для каждого консьюмера.
  • Offset Management: Группа хранит общие коммиты офсетов (позицию чтения) для каждой партиции, обычно в топике __consumer_offsets.
  • Delivery Semantics: Определяются стратегией коммита офсетов (at-most-once, at-least-once, exactly-once).

Использование в Kafka Consumer API:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-app-group"); // Ключевой параметр
props.put("key.deserializer", "...");
props.put("value.deserializer", "...");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);