1
HADOOP
1. Почему маленькие файлы в Hadoop являются проблемой?
2. Каким образом можно бороться с множеством мелких файлов в HDFS?
3. Есть ли у вас опыт взаимодействия с HDFS-командами в терминале?
4. Что делает команда mv в HDFS?
2
SPARK
5. Что такое spill в Spark?
6. Каковы типичные причины появления spill?
7. Как можно попытаться бороться со spill, не увеличивая общий объём выделяемых ресурсов — какие параметры можно переконфигурировать?
8. Влияет ли изменение числа executors и ядер на них на проблему spill — поможет ли это?
9. Что такое shuffle в Spark?
10. Какие инструменты/приёмы существуют для управления распределением данных при join, чтобы уменьшить shuffle?
11. Знаете ли вы про…