1
ОРКЕСТРАЦИЯ / AIRFLOW
1. Как вы менеджите согласованность данных между дагами (источник → downstream сборки датамартов) при поздних/пропущенных поставках?
2. DAG сборки датамарта и DAG забора данных из источника — это разные DAG или один монолитный?
3. У вас есть отдельные DAG для экстракта (e.g. из API) и для сборки датамартов — как они связаны?
4. Если DAG экстракта упал и не вернул данные, как downstream DAG узнает об этом и не запустится впустую?
5. Какие механизмы (Airflow) вы используете: ExternalTaskSensor, ExternalTaskSensor с расписанием, финальный DAG (TriggerDagRun), или хранение статусов во внешнем сторе?
6. Куда ставить сенсор — в финальный DAG (downstream) или в upstream —…