Ответ
Настройка auto.offset.reset=earliest указывает консьюмеру Kafka, с какой позиции начать чтение, если для его группы (group.id) нет сохранённого смещения (offset) в топике __consumer_offsets.
Поведение:
- Нет сохранённого offset: Consumer начинает чтение с самого старого (самого раннего) доступного сообщения в каждой партиции подписанного топика.
- Есть сохранённый offset: Настройка игнорируется, и consumer продолжает с сохранённой позиции.
Типичные сценарии использования:
- Первый запуск новой consumer-группы.
- Чтение с нового топика.
- Обработка всех данных с начала (например, для повторного расчёта агрегатов).
Сравнение с другими значениями:
latest: Начать с самого нового сообщения (игнорировать историю).none: Выбросить исключение, если offset не найден.
Пример конфигурации на Java:
Properties props = new Properties();
props.put("bootstrap.servers", "kafka-broker:9092");
props.put("group.id", "data-processor");
// Ключевая настройка:
props.put("auto.offset.reset", "earliest");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(List.of("input-data-topic"));
// При первом запуске этой группы чтение начнётся с самого первого сообщения в каждой партиции.
Важное замечание: Настройка не влияет на поведение consumer, который использует ручное управление смещениями (например, consumer.assign() и consumer.seekToBeginning()).