Что означает настройка auto.offset.reset=earliest для consumer в Apache Kafka?

«Что означает настройка auto.offset.reset=earliest для consumer в Apache Kafka?» — вопрос из категории Брокеры сообщений, который задают на 10% собеседований Java Разработчик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Настройка auto.offset.reset=earliest указывает консьюмеру Kafka, с какой позиции начать чтение, если для его группы (group.id) нет сохранённого смещения (offset) в топике __consumer_offsets.

Поведение:

  1. Нет сохранённого offset: Consumer начинает чтение с самого старого (самого раннего) доступного сообщения в каждой партиции подписанного топика.
  2. Есть сохранённый offset: Настройка игнорируется, и consumer продолжает с сохранённой позиции.

Типичные сценарии использования:

  • Первый запуск новой consumer-группы.
  • Чтение с нового топика.
  • Обработка всех данных с начала (например, для повторного расчёта агрегатов).

Сравнение с другими значениями:

  • latest: Начать с самого нового сообщения (игнорировать историю).
  • none: Выбросить исключение, если offset не найден.

Пример конфигурации на Java:

Properties props = new Properties();
props.put("bootstrap.servers", "kafka-broker:9092");
props.put("group.id", "data-processor");
// Ключевая настройка:
props.put("auto.offset.reset", "earliest");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(List.of("input-data-topic"));
// При первом запуске этой группы чтение начнётся с самого первого сообщения в каждой партиции.

Важное замечание: Настройка не влияет на поведение consumer, который использует ручное управление смещениями (например, consumer.assign() и consumer.seekToBeginning()).