Что такое consumer в Apache Kafka?

«Что такое consumer в Apache Kafka?» — вопрос из категории Брокеры сообщений, который задают на 10% собеседований Java Разработчик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Consumer (потребитель) в Kafka — это клиентское приложение, которое читает данные из топиков.

Ключевые характеристики:

  • Группы потребителей (Consumer Groups): Потребители объединяются в группы для параллельной обработки сообщений. Каждое сообщение в партиции доставляется только одному потребителю в группе.
  • Смещения (Offsets): Consumer отслеживает свою позицию (номер последнего прочитанного сообщения) для каждой партиции, обычно сохраняя её в топике __consumer_offsets.
  • Распределение партиций: Партиции топика автоматически распределяются между потребителями в группе. При добавлении или удалении потребителя происходит ребалансировка.

Пример создания Consumer на Java:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-app"); // Идентификатор группы
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("my-topic")); // Подписка на топик

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n",
                          record.offset(), record.key(), record.value());
    }
}