1
Airflow
Вопрос
1. Какие основные компоненты Airflow ты знаешь?
Ответ
Web Server, Scheduler, Executor, XCom
2. Какую функцию выполняет Scheduler? Как он определяет, какой DAG запустить?
3. DAG — это циклический или ацикличный граф?
Вопрос
4. Какие виды экзекьюторов знаешь и с какими работал?
Ответ
Local, Celery, Kubernetes
5. Как реализовать автоматическое формирование DAG на основе конфига (без создания отдельных Python-файлов)?
Вопрос
6. Что будет, если в папке dags создать папку utils с Python-файлами (без DAG)? Как сделать так, чтобы scheduler их не парсил?
Ответ
airflow.ignore
7. В чём разница между ETL и ELT? Какие профиты у каждого подхода?
8. Что такое макрос execution_date в Airflow и для чего он…