1
Spark — устройство и выполнение
1. Что происходит при запуске Spark-приложения?
2. Какие сущности Spark будут запускаться и как они между собой взаимодействуют?
3. Какие операции умеет выполнять Spark?
4. В чём отличие Action от Transformation?
5. Зачем использовать Spark вместо обычного Python-скрипта для обработки данных?
6. Почему Spark позволяет обрабатывать большие объёмы данных?
7. С какими форматами данных может работать Spark?
8. Какие форматы Spark читает удобнее и быстрее — CSV или Parquet?
9. Почему Parquet быстрее CSV при работе с большими данными?
2
Spark — Shuffle и Partition
10. Что такое Shuffle в Spark?
11. Какие операции приводят к Shuffle, кроме JOIN?
12. Что такое…