Какие основные проблемы с производительностью встречаются в Django ORM и как их решать?

Основные проблемы производительности в Django ORM связаны с генерацией избыточных или неоптимальных SQL-запросов. Вот ключевые из них и способы их решения:

1. Проблема N+1 запросов

   • Суть: При итерации по QuerySet для каждого объекта выполняется дополнительный запрос для получения связанных данных.
   • Решение: Использовать select_related (для ForeignKey, OneToOneField) и prefetch_related (для ManyToManyField, GenericForeignKey и обратных связей), чтобы загрузить связанные данные одним или двумя запросами.

   # ПЛОХО: 1 запрос за книгами + N запросов за авторами
   for book in Book.objects.all():
       print(book.author.name) # Отдельный SQL-запрос на каждой итерации
   
   # ХОРОШО: 1 запрос, объединяющий книги и авторов через JOIN
   for book in Book.objects.select_related('author').all():
       print(book.author.name)

2. Загрузка ненужных полей

   • Суть: Выборка всех полей модели (SELECT *), когда требуется только несколько из них. Это увеличивает нагрузку на сеть и потребление памяти.
   • Решение: Использовать only() для указания только необходимых полей или defer() для исключения тяжелых полей.

3. Вычисление .count() или проверка существования в Python

   • Суть: Использование len(queryset) загружает все объекты в память только для подсчета их количества. Аналогично, if queryset: загружает данные для проверки на пустоту.
   • Решение: Использовать queryset.count() для выполнения эффективного SELECT COUNT(*) в базе данных и queryset.exists() для SELECT ... LIMIT 1, что намного быстрее.

4. Обновление и создание объектов в цикле

   • Суть: Выполнение save() или create() в цикле генерирует отдельный SQL-запрос (INSERT или UPDATE) для каждого объекта.
   • Решение: Использовать bulk_create() и bulk_update() для выполнения массовых операций одним запросом.

5. Отсутствие индексов в базе данных

   • Суть: Медленные запросы с фильтрацией (filter, exclude) или сортировкой (order_by) по полям, которые не проиндексированы в БД.
   • Решение: Добавить db_index=True к соответствующим полям в модели Django и выполнить миграции.

Для обнаружения этих проблем рекомендуется использовать Django Debug Toolbar, который наглядно показывает все выполненные SQL-запросы, их количество и время выполнения.