1
Airflow
1. Опишите стек Airflow: какой executor использовался (Celery/Kubernetes/другой), сколько дагов по вашему потоку и в команде в целом.
2. Какие типы операторов и сенсоров вы использовали, были ли триггеры и ExternalTaskSensor/ExternalTaskFlow?
3. Писали ли вы кастомные операторы/сенсоры или в основном использовали сторонние/стандартные операторы?
4. Как организованы connections в Airflow (подключения к GreenPlum, Postgres, PySpark и т.д.)?
5. Как настраивали пулы и параллелизм в Airflow, с какими значениями и почему (например, стандартные 128 не хватало)?
6. Какие механизмы логирования и проверок работали в дагах (проверка количества записей, логирование таймингов и т.п.)?
7. Опишите…