Какую модель потребления сообщений использует Kafka: Push или Pull?

«Какую модель потребления сообщений использует Kafka: Push или Pull?» — вопрос из категории Брокеры сообщений, который задают на 10% собеседований Java Разработчик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Kafka использует Pull-модель для потребления сообщений потребителями (consumer).

Почему Pull, а не Push?

  • Контроль скорости: Потребитель сам запрашивает данные, контролируя темп обработки и избегая перегрузки.
  • Пакетная обработка: Позволяет эффективно получать сообщения батчами.
  • Повторное чтение: Потребитель может откатиться к более раннему смещению (offset) для повторной обработки.

Пример кода потребителя (Java):

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props)) {
    consumer.subscribe(List.of("my-topic"));
    while (true) {
        // Потребитель явно запрашивает (pull) сообщения
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
        for (ConsumerRecord<String, String> record : records) {
            System.out.printf("offset = %d, key = %s, value = %s%n",
                record.offset(), record.key(), record.value());
        }
    }
}

Важный нюанс: Kafka использует гибридный подход:

  • Push от продюсера (producer) к брокеру.
  • Pull от брокера к потребителю (consumer).