Что такое идемпотентность в ETL?

В контексте ETL/ELT-пайплайнов идемпотентность означает, что повторный запуск пайплайна (или его шага) с теми же исходными данными приводит систему в идентичное конечное состояние, как и после первого успешного запуска. Это ключевое свойство для отказоустойчивости, так как пайплайны часто перезапускают из-за сбоев, ошибок в данных или по расписанию.

Почему это важно? Без идемпотентности повторный запуск приведет к дублированию данных, некорректным агрегатам и порче витрин.

Практические стратегии реализации:

1. Полная перезапись (Overwrite): Самый простой способ. Каждый запуск полностью очищает целевую таблицу/партицию и загружает данные заново.

   -- В SQL-скрипте пайплайна
   TRUNCATE TABLE mart_daily_sales;
   INSERT INTO mart_daily_sales
   SELECT ... FROM staging_table;

   # В PySpark
   df.write.mode("overwrite").saveAsTable("mart_daily_sales")
   # Или с партицией
   df.write.mode("overwrite").partitionBy("date").save("/data/mart/sales")

   Подходит для: небольших таблиц, витрин за конкретный день.

2. Объединение/Слияние (Merge/Upsert): Определяет, вставить новую запись или обновить существующую по ключу.

   -- Использование MERGE (SQL:2003)
   MERGE INTO target_table AS tgt
   USING source_table AS src
       ON tgt.id = src.id AND tgt.date = src.date
   WHEN MATCHED THEN
       UPDATE SET tgt.value = src.value, tgt.updated_at = GETDATE()
   WHEN NOT MATCHED THEN
       INSERT (id, date, value) VALUES (src.id, src.date, src.value);

   Подходит для: инкрементальных загрузок, больших фактологических таблиц.

3. Загрузка по партициям: Данные разделены по партициям (например, по дате). Перезапуск пайплайна перезаписывает только партиции, затрагиваемые текущим запуском.

   # Перезапись только партиции за конкретную дату
   df.write.mode("overwrite").partitionBy("dt").save("/data/mart")
   # Hive-операция
   ALTER TABLE sales DROP PARTITION (dt='2024-05-20');
   ALTER TABLE sales ADD PARTITION (dt='2024-05-20');

Ключевые принципы идемпотентного ETL:

• Детерминированность: Результат обработки одних и тех же исходных данных всегда одинаков.
• Управление состоянием: Пайплайн должен явно отслеживать, какие данные уже обработаны (например, через таблицу метаданных или водяные знаки).
• Изоляция шагов: Сбой на одном шаге не должен оставлять систему в частично обновленном состоянии (используются транзакции или компенсирующие действия).

Пример сбоя: Если пайплайн упал после вставки, но до коммита транзакции, идемпотентный дизайн гарантирует, что при рестарте дубликаты не появятся.