По каким схемам или алгоритмам можно выделять вычислительные ресурсы в распределенных системах?

Давай разжую эту тему, как будто объясняю за кружкой пива после тяжёлого деплоя. Сиди, слушай.

Представь, у тебя есть овердохуища серверов — целая ферма. И на них всем надо как-то жить твоим контейнерам, этим ненасытным мартышкам. Так вот, способы, как им раздавать процессоры, память и прочую лабуду, — это целый ёперный театр.

Как этим тварям ресурсы тыкают:

1. Жёсткая разметка, как в совке (Static Partitioning):

   • Берёшь и наглухо забиваешь гвозди в стену: этому микросервису — два ядра и четыре гига, этому — одно и два. Всё, приехали.
   • Чем хорошо: Проще некуда. Поставил и забыл. Никаких сюрпризов, оркестратору даже думать не надо, доверия ебать ноль, но спокойно.
   • Чем плохо: А тем, что один сервис спит, а его память простаивает, а другому в это же время, сука, не хватает и он падает. Неэффективность пиздец. Эластичности — ноль.
   • Где встречается: Да прямо в твоём kubernetes.yaml, эти самые resources.requests и limits. Задал лимиты — и сиди, как пень.

2. Динамическая раздача, как в баре (Dynamic Allocation):

   • Тут уже веселее. Ресурсы — как стойка с бокалами. Пришёл — взял, выпил — вернул. По потребности.
   • Алгоритмы-вышибалы:
     • Очередь для важняков (Priority Queue): Кто начальник или у кого срочный дедлайн — того и пропускают первым к ресурсам.
     • Поровну, но с коэффициентом (Proportional Share): Всем сестрам по серьгам, но у одной серьги золотые, у другой — бижутерия. Делим по весу.
   • Где: Всякие умные менеджеры вроде YARN в Hadoop. Там, где задачи приходят и уходят толпами.

3. По блату и квотам (Quota-based):

   • Ты — тимлид. Тебе говорят: «Вася, вот тебе 40% мощности всего кластера, делай что хочешь». А ты внутри своей команды уже сам решаешь, кому из своих проектов сколько дать. Главное — за забор не вылезать.
   • Пример: Quotas в Kubernetes на уровне неймспейса. Создал неймспейс team-pidorasy, выставил квоту — и пусть они там друг друга ебут, но общие ресурсы кластера не засрут.

4. Аукцион, как на рынке (Auction-based):

   • Вообще дичь. Твои задачи начинают торговаться: «Я дам 10 виртуальных долларов за эти ядра!» — «А я 15!». Кто больше предложил, тот и забирает. Система старается отдать тому, кто принесёт больше «пользы».
   • Пример: Где-то в недрах Google Borg такое практикуют. Для нас, простых смертных, это выглядит как магия, хуй с горы.

5. Упаковка чемоданов в багажник (Bin Packing):

   • Самая жизненная задача. У тебя есть куча серверов (чемоданов) и куча подов (шмоток). Надо запихать всё так, чтобы чемоданов (серверов) ушло меньше всего, а свободного места в них почти не осталось. Идеальная тётка в отпуск.
   • Алгоритмы: «Суй в первый попавшийся» (First-Fit), «Ищи, где самый плотный засов получится» (Best-Fit).
   • Где: Да это же основа основ планировщика Kubernetes! Он смотрит на твои requests и думает: «Эту хитрожопую поду куда воткнуть, чтобы остальные тоже влезли?». Весь день только этим и занимается, бедолага.

Ну и как это в кубересе выглядит на практике?

Планировщик — это такой главный упаковщик. Он Bin Packing-ом мозги ломает, чтобы сервера не пустовали. Смотрит на то, что ты в requests наобещал, и пытается запихать поды поплотнее.

А когда ресурсы на исходе, в ход идут приоритеты и вытеснение. Прилетает новая, важная подка, а места нет. Планировщик смотрит: «Ага, вот эта пода — низкоприоритетная, пизда рулю». И вышвыривает её на мороз, чтобы место освободить. Жестоко, но таков закон джунглей в кластере. Выживает самый важный, а не самый первый.