Как высокая нагрузка на сервер влияет на поведение потоков

Высокая нагрузка на сервер приводит к усиленной конкуренции потоков за ограниченные системные ресурсы, что вызывает несколько негативных эффектов:

1. Конкуренция за ресурсы (Resource Contention) Потоки начинают активно бороться за процессорное время (CPU), память и операции ввода-вывода (I/O). Это приводит к задержкам и снижению общей пропускной способности системы.

2. Чрезмерное переключение контекста (Context Switching Overhead) Планировщик ОС вынужден постоянно переключаться между большим количеством активных потоков. Сами переключения тратят ресурсы CPU, и при высокой нагрузке эта непроизводительная работа может занимать значительную часть процессорного времени.

3. Голодание потоков (Thread Starvation) Некоторые потоки могут надолго "зависнуть", не получая доступа к CPU, так как планировщик постоянно отдает предпочтение другим, более приоритетным или "жадным" задачам.

4. Переполнение очередей задач Если используется пул потоков (thread pool), входящие задачи начинают накапливаться в очереди, ожидая освобождения потока. Это напрямую увеличивает время отклика (latency) для клиента.

Пример на Python с ThreadPoolExecutor:

from concurrent.futures import ThreadPoolExecutor
import time

def cpu_bound_task(n):
    # Имитация задачи, требующей CPU
    while n > 0:
        n -= 1
    # print(f"Task finished")

# Пул всего из 4 потоков (имитация ограниченных ресурсов CPU)
with ThreadPoolExecutor(max_workers=4) as executor:
    print("Submitting 100 tasks to a pool of 4 workers...")
    start_time = time.time()

    # Отправляем 100 задач, которые будут конкурировать за 4 потока
    futures = [executor.submit(cpu_bound_task, 5_000_000) for _ in range(100)]

    # Ожидаем завершения всех задач
    for future in futures:
        future.result()

    end_time = time.time()
    print(f"All tasks completed in {end_time - start_time:.2f} seconds.")
    # Задачи будут выполняться долго, так как очередь (100) >> кол-во воркеров (4)

Для смягчения этих проблем используют асинхронность, горизонтальное масштабирование, rate limiting и оптимизацию кода для снижения потребления ресурсов.