1
Spark
1. Расскажи о своём предыдущем опыте работы со Spark: какие пайплайны строил, какие интересные кейсы и с какими проблемами сталкивался.
2. В framework Spark есть RDD, DataFrame, Dataset — какими пользовался и в чём их различия?
3. В чём удобство работы с DataFrame по сравнению с RDD?
4. Драйвер и executor — в чём различие и какие функции они выполняют?
5. Где располагается драйвер в кластере, от чего зависит его местоположение и кто это определяет (роль resource manager, например YARN)?
6. Драйвер строит вычислительный DAG: по какому принципу происходит разделение на стадии и что выполняется внутри таски?
7. Какие операции приводят к shuffle и в каких ситуациях shuffle вызывает…