1
Spark / Оптимизация общего процесса
1. Аналитик передаёт прототип, вы его запускаете и через сутки он досчитался. Какой будет ваш roadmap — что будете делать, чтобы эту историю оптимизировать?
2
HDFS / Чтение источников
2. Как понять, что чтение hive и HDFS таблицы по партициям происходит максимально эффективно и что ещё нужно проверить при чтении?
3
Spark
3. На что смотреть по числу партиций, чтобы не было перегруза драйвера и задач?
4. Какие типы джойнов вы встречали в Spark?
5. Какие ещё джойны, кроме hash и sort-merge, встречаются?
6. Как по SQL-запросу сразу понять, будет ли nested loop join или sort-merge join?
7. Если джоин происходит по равенству по ключу и есть дополнительное условие…