Перейти на PRO

Для чего предназначен модуль `multiprocessing` в Python и как он работает?

Тип вопроса: Библиотеки и модули Вероятность: 10% Категория: Python Разработчик

Ответ

Модуль multiprocessing в Python предназначен для создания и управления параллельными процессами. Он позволяет обойти ограничение Global Interpreter Lock (GIL), что делает его эффективным для выполнения CPU-интенсивных задач, распределяя их между несколькими ядрами процессора.

Ключевые концепции и компоненты:

  • Process: Базовый класс для создания нового процесса.
  • Pool: Предоставляет пул рабочих процессов для выполнения задач параллельно, упрощая распределение и сбор результатов.
  • Механизмы межпроцессного взаимодействия (IPC): Queue (очереди) и Pipe (каналы) используются для безопасного обмена данными между процессами.
  • Синхронизация: Lock, Semaphore, Event для координации работы процессов.

Пример использования Process и Queue:

from multiprocessing import Process, Queue
import os

def worker(q: Queue, num: int):
    """Функция, выполняемая в отдельном процессе."""
    result = num * 2
    print(f"Процесс {os.getpid()}: обрабатываю {num}, результат {result}")
    q.put(result)

if __name__ == '__main__':
    # Обязательно для запуска процессов на некоторых ОС (например, Windows)
    # Предотвращает рекурсивный импорт и запуск дочерних процессов.
    q = Queue() # Очередь для сбора результатов от процессов
    processes = []
    for i in range(4):
        p = Process(target=worker, args=(q, i))
        processes.append(p)
        p.start() # Запуск процесса

    for p in processes:
        p.join() # Ожидание завершения всех процессов

    print("nРезультаты из очереди:")
    results = []
    while not q.empty():
        results.append(q.get())
    print(sorted(results)) # Вывод: [0, 2, 4, 6]

Почему multiprocessing важен: Он позволяет эффективно использовать многоядерные процессоры для задач, требующих интенсивных вычислений, значительно ускоряя их выполнение по сравнению с однопоточным подходом.

Важные нюансы:

  • if __name__ == '__main__': Критически важен для корректной работы на Windows и macOS при использовании метода spawn или fork для запуска процессов, чтобы избежать бесконечной рекурсии при создании дочерних процессов.
  • Межпроцессная коммуникация: Обмен данными между процессами (через Queue, Pipe) требует сериализации/десериализации, что может быть медленнее, чем обмен данными между потоками в рамках одного процесса.
  • Выбор между multiprocessing и threading/asyncio:
    • multiprocessing подходит для CPU-bound задач (интенсивные вычисления).
    • threading (многопоточность) и asyncio (асинхронное программирование) лучше подходят для IO-bound задач (работа с сетью, файлами), так как GIL не блокирует операции ввода/вывода.

Ответ 18+ 🔞

Давай разберём этот ваш multiprocessing, а то народ путается, как хуй с пальмой. Сидит себе один процесс, думает, что он царь и бог, а GIL его по башке на каждом шагу — и всё, производительность на нуле, как у мартышки с микроскопом.

Суть, если на пальцах: Это как если бы ты один, Герасим, таскал брёвна. А тут тебе дают ещё трёх таких же немых здоровяков, и каждый своё бревно волокёт. Всем есть чем заняться, и GIL — эта ваша барыня-помещица — уже не указ. Для задач, где мозги (процессор) надо пахать — это овердохуища полезно.

Из чего этот конструктор состоит:

  • Process — это и есть тот самый новый здоровый мужик, которого ты нанял. Дал ему задание — и пусть пашет.
  • Pool — это уже не один мужик, а целая артель. Кидаешь им кучу кирпичей (задач), а они их всей толпой и разгружают. Удобно, не надо за каждым бегать.
  • Как им общаться? А никак. Они же в разных квартирах живут. Чтобы друг другу записки передавать, нужны Queue (очередь, как ящик для писем) или Pipe (труба, как телефон). Иначе друг друга не услышат.
  • А чтобы не подрались? Вот для этого Lock, Semaphore. Чтобы двое в одну сортирку не ломились и данные не испортили.

Смотри, как это выглядит в деле:

from multiprocessing import Process, Queue
import os

def worker(q: Queue, num: int):
    """Вот этот чувак в отдельной камере будет считать."""
    result = num * 2
    print(f"Процесс {os.getpid()}: обрабатываю {num}, результат {result}")
    q.put(result)  # Запихал результат в общий ящик

if __name__ == '__main__':  # ВАЖНО! Без этой хуйни на Windows всё пойдёт по пизде!
    q = Queue()  # Вот этот самый ящик для записок
    processes = []

    for i in range(4):
        p = Process(target=worker, args=(q, i))  # Родил нового работягу
        processes.append(p)
        p.start()  # И дал ему пинка под зад — работать!

    for p in processes:
        p.join()  # Стою, курю, жду, пока все четверо закончат

    print("nРезультаты из очереди:")
    results = []
    while not q.empty():
        results.append(q.get())  # Выгребаю из ящика всё, что они наработали
    print(sorted(results))  # Вывод: [0, 2, 4, 6]

А теперь главное — когда это вот всё нужно?

Представь, у тебя два типа задач:

  1. CPU-bound (мозгоёбские): типа перемножить овердохуища матриц, посчитать число Пи до миллионного знака. Вот тут потоки — говно, потому что GIL их всех по очереди пускает. Нужны процессы (multiprocessing). Каждому — по ядру, и пусть считают, не мешая друг другу.
  2. IO-bound (ждунские): типа скачать сто картинок из интернета. Тут процессор простаивает, ждёт ответа от сети. Вот здесь потоки (threading) или асинхронщина (asyncio) — самое то. GIL им не помеха, потому что пока один ждёт, другой может работать.

Ловушки, в которые все попадают:

  • if __name__ == '__main__': — это не прихоть, а суровая необходимость. Без этого на Windows твой скрипт начнёт плодить процессы как сумасшедший, пока система не накроется медным тазом. Запомни как «Отче наш».
  • Общение — дорого. Кидать данные между процессами — это не в памяти поковыряться. Всё сериализуется-пересылается-десериализуется. Если гонять туда-сюда мегабайты ежеминутно, прощай, вся производительность. Общайся по минимуму.

Короче, multiprocessing — это твой танк для штурма крепости CPU-bound задач. Не для всего, но когда нужно — другого выбора просто нет, блядь.

© ХакСобесов, 2026
support@hacksobesov.com