1
Airflow
Вопрос
1. Как можно задать расписание запуска DAG?
Ответ
Ожидался ответ про cron и Datasets.
Вопрос
2. Как передавать данные между тасками в Airflow?
Ответ
XCom, объём данных, альтернативы.
Вопрос
3. Как из одного DAG’а вызвать/затригерить другой DAG?
Ответ
TriggerDagRunOperator, датасеты, сенсоры.
4. Что означает, что поле в операторе помечено как templated? Чем отличается от нетемплейченного? Когда происходит рендеринг?
Вопрос
5. Как можно затригерить DAG, кроме ручного запуска и расписания?
Ответ
В т.ч. кросс-хост.
2
PySpark
Вопрос
6. Какие есть уровни кэширования данных в PySpark?
Ответ
MEMORY_ONLY, MEMORY_AND_DISK, сериализация.
7. В чем преимущество/недостаток сериализации данных при кэшировании?
8. На каком…