1
ИНКРЕМЕНТАЛЬНАЯ ЗАГРУЗКА / WATERMARK / ОКНА
1. Что в твоём понимании инкрементальная загрузка? Какие разновидности и способы инкрементальной загрузки вы использовали?
2. Что такое watermark в вашем контексте и как вы определяете новые данные?
3. Какое временное поле вы используете для watermark — event time, update/processing time, поле изменения записи? Как это влияет на логику загрузки?
4. Зачем нужен recompute-window / окно для пересчёта? Как вы выбирали размер окна (почему 2–3 недели)?
5. Как вы считаете агрегаты (например, месячные) при наличии запоздавших данных? Можно ли пересчитывать только дельту, и какие ограничения при этом возникают?
6. Какие паттерны реализации инкрементальных…