1
ИСТОЧНИКИ И ИНГЕСТИЯ
1. С какими источниками данных и какими инструментами вы работали? Какая была периодичность выгрузок?
2. В S3 в каком формате хранятся исходные выгрузки?
3. Это сырые инкременты или целые таблицы?
4. Как вы загружаете исторические данные при первом подключении источника, когда невозможно выделить инкремент?
5. Airflow у вас кастомный — это самописный оператор/сервис? Приходилось ли смотреть/править его внутренний?
6. Параметр выгрузки исторического интервала — задаётся входным параметром или через конфигурационные/настроечные таблицы?
7. Данные выгружаются из источника напрямую в S3 или сразу в хранилище?
8. Как из S3 данные попадают в Greenplum?
2