1
Опыт и проекты
1. Расскажи о своём опыте и стеке технологий.
2. Насколько плотно работал с Apache Spark и экосистемой Hadoop?
3. Почему на предыдущем проекте начали отказываться от Trino?
4. С какими объёмами данных работал (терабайты)?
5. Расскажи про интересный кейс с Airflow (оркестратор дагов).
6. Как у вас была организована работа с данными в S3?
7. Занимался ли переливками больших объёмов данных (1 ТБ)?
2
Apache Spark
8. Что такое Executor в Spark?
9. Что такое Shuffle в Spark и как он влияет на производительность?
10. Что такое Spark Catalyst?
11. Чем отличается Spark Driver от Spark Executor?
12. Что такое Out of Memory в Spark и когда возникает? Как с этим бороться?
13. Что такое…