Тех собес на middle-senior Data Инженер в Exness

1. Как вы использовали Airflow вместе со Spark?

2. Занимались ли вы оптимизацией запросов в Spark? Какие подходы использовали?

3. Какой S3 использовался (что подразумевали под S3 в вашем окружении)?

4. Правильно ли, что у вас были шаблоны для пайплайнов (Spark/Airflow) и вы просто подключали новые загрузки?

5. Какая версия Airflow была у вас — первая или вторая?

6. Были ли планы перехода на Airflow 3?

7. Какой executor вы использовали в Airflow?

8. Приходилось ли вам работать с Kubernetes?

9. Какие проблемы встречаются при работе Airflow на Kubernetes executor?

10. Чем отличаются requests от limits в Kubernetes (как вы это используете при оптимизации задач)?