1
Прошлый опыт / Архитектура проекта
1. Как организованы DAG’и: были ли отдельные даги на экстракт, трансформацию и моделирование или общий DAG?
2. Какие библиотеки/операторы использовались внутри дагов (подключения к Postgres, S3, запуск Spark задач и т.п.)?
3. Как данные попадали из S3 в Greenplum (PXF, External table, Exchange Partition) и как выглядел процесс замены партиции за день?
4. Как было организовано моделирование в Greenplum: использование DBT, структура моделей, слои (Raw → Data Vault → Data Mart)?
5. Кто принимал решения по структуре Data Vault (что будет hub/satellite/link): как проходил процесс…