Ответ
Kafka использует Pull-модель для потребления сообщений потребителями (consumer).
Почему Pull, а не Push?
- Контроль скорости: Потребитель сам запрашивает данные, контролируя темп обработки и избегая перегрузки.
- Пакетная обработка: Позволяет эффективно получать сообщения батчами.
- Повторное чтение: Потребитель может откатиться к более раннему смещению (offset) для повторной обработки.
Пример кода потребителя (Java):
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props)) {
consumer.subscribe(List.of("my-topic"));
while (true) {
// Потребитель явно запрашивает (pull) сообщения
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
for (ConsumerRecord<String, String> record : records) {
System.out.printf("offset = %d, key = %s, value = %s%n",
record.offset(), record.key(), record.value());
}
}
}
Важный нюанс: Kafka использует гибридный подход:
- Push от продюсера (producer) к брокеру.
- Pull от брокера к потребителю (consumer).