Условие
Нам нужно передать данные из какого-то источника некоторому потребителю. При этом источник отдает данные небольшими пачками (~ десятки записей), а потребитель оптимально работает с крупными батчами (~ тысячи записей). Реальный пример — поставка данных из очереди типа Kafka в базу Clickhouse.
Источник:
- Условие безопасности.
- Источник никогда не возвращает больше MaxItems записей за один вызов Next.
- Один из "секретов" функции вызова функции Pipe: источник возвращает новые данные на каждый вызов. Однако, после перерасчета позиции, результат будет всегда одинаковым (если…