Что такое партиционирование в контексте баз данных?

Партиционирование — это метод разделения большой таблицы базы данных на меньшие, более управляемые части (партиции) на основе определённого ключа, например, диапазона дат или значений. В DevOps это критически важно для управления производительностью, резервным копированием и жизненным циклом данных в высоконагруженных системах.

Практический пример (PostgreSQL) для логов приложения:

-- Создаём основную таблицу, разделяемую по диапазону дат
CREATE TABLE app_logs (
    log_id BIGSERIAL,
    created_at TIMESTAMPTZ NOT NULL,
    service_name TEXT,
    log_level TEXT,
    message TEXT
) PARTITION BY RANGE (created_at);

-- Создаём партиции по месяцам для облегчения ротации
CREATE TABLE app_logs_2024_01 PARTITION OF app_logs
    FOR VALUES FROM ('2024-01-01') TO ('2024-02-01');
CREATE TABLE app_logs_2024_02 PARTITION OF app_logs
    FOR VALUES FROM ('2024-02-01') TO ('2024-03-01');

Как это используется в DevOps-практике:

• Производительность запросов: Запрос с условием WHERE created_at >= '2024-02-15' будет сканировать только партицию app_logs_2024_02 (Partition Pruning), что резко ускоряет выполнение.
• Управление данными: Старые партиции (например, за прошлый год) можно быстро отключить от основной таблицы (DETACH PARTITION) и переместить на более дешёвое хранилище (архивация) или удалить, не блокируя запись в текущие данные.
• Резервное копирование: Можно делать инкрементальные бэкапы отдельных партиций.
• Параллельные операции: В некоторых СУБД операции обслуживания (VACUUM, ANALYZE) можно выполнять параллельно для разных партиций.

Недостатки и на что обратить внимание:

• Сложность схемы и миграций.
• Ключ партиционирования должен быть тщательно выбран. Неудачный ключ (с низкой кардинальностью) может привести к неравномерному распределению данных (скопление в одной партиции).
• Ограничения на индексы: первичный ключ и уникальные индексы должны включать столбец ключа партиционирования.