Ответ
Consumer Group — это логическая группа потребителей (консьюмеров), которые совместно обрабатывают сообщения из одного или нескольких топиков. Это основной механизм для масштабирования обработки и обеспечения отказоустойчивости.
Ключевые принципы:
- Распределение партиций: Каждая партиция топика потребляется только одним консьюмером в рамках группы.
- Балансировка нагрузки: Партиции автоматически перераспределяются между консьюмерами группы при их добавлении или удалении (rebalance).
- Параллельная обработка: Группа позволяет обрабатывать сообщения из нескольких партиций параллельно.
Пример: Топик orders с 4 партициями и группа notification-service с 2 консьюмерами.
Топик: orders [P0, P1, P2, P3]
Consumer Group: notification-service
- Consumer C1 -> обрабатывает P0, P2
- Consumer C2 -> обрабатывает P1, P3
Если добавить C3, произойдет rebalance, и нагрузка распределится на троих (например, C1:P0, C2:P1, C3:P2,P3).
Важные аспекты:
group.id: Уникальный идентификатор группы, задаваемый для каждого консьюмера.- Offset Management: Группа хранит общие коммиты офсетов (позицию чтения) для каждой партиции, обычно в топике
__consumer_offsets. - Delivery Semantics: Определяются стратегией коммита офсетов (
at-most-once,at-least-once,exactly-once).
Использование в Kafka Consumer API:
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-app-group"); // Ключевой параметр
props.put("key.deserializer", "...");
props.put("value.deserializer", "...");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);