1
Airflow
1. Что такое DAG в контексте Airflow? Из каких основных элементов он состоит?
2. Как осуществляется передача данных между задачами в рамках одного DAG?
3. Сколько данных можно передать через XCom? С какими ограничениями это связано и почему не стоит использовать XCom для передачи больших объемов данных, например датафреймов?
Вопрос
4. Какие способы обработки больших объемов данных между тасками вы знаете?
Ответ
Например, запись в промежуточное хранилище.
5. Какие типы операторов использовал в работе?
2
Kubernetes
6. Как в Kubernetes обычно организуется хранение данных?
7. Что такое Helm?…