Есть ли опыт миграции данных?

А, опыт миграции данных? Да, был у меня такой прикол, ёпта. Один проект — перетаскивали всё хозяйство с MS SQL Server в Greenplum. Честно говоря, поначалу волнение ебать, потому что объёмы были — овердохуища, и любая ошибка могла превратить всё в пиздопроебибну.

Как мы это делали, по шагам:

1. Проектирование и анализ:

   • Сначала сидели, сопоставляли схемы. Это как пытаться натянуть сову на глобус, только вместо совы — типы данных, а вместо глобуса — другая СУБД. Каждый NULL и каждый потенциальный дубль ключа — это отдельная хитрая жопа, которую надо было заранее вычислить. Подозрение ебать чувствую к этим данным, пока не разберусь.

2. Разработка пайплайнов:

   • Основную работу по трансформации делали на dbt. Штука, в общем-то, годная. Пишешь себе модели — обычные SQL-файлы, а он уже сам разбирается, как это материализовать в Greenplum. Выглядит это примерно так, смотри:

     
     -- models/mart_customer_orders.sql
     {{ config(materialized='table') }}

   SELECT c.customer_id, c.name, COUNT(o.order_id) as total_orders, SUM(o.amount) as total_spent FROM {{ ref('stg_customers') }} c LEFT JOIN {{ ref('stg_orders') }} o ON c.customer_id = o.customer_id GROUP BY 1, 2

   
   Вроде бы просто, но когда таких моделей сотни, а зависимости между ними — хуй с горы разберёшь, тут уже терпения ноль ебать. Но в dbt хотя бы граф зависимостей видно, не как в темноте щупаешь.

3. Стратегия загрузки и отката:

   • Всё подряд грузить — это самоубийство. Поэтому для больших таблиц юзали инкрементальную загрузку. Следили за полем last_updated, чтобы тащить только свежее. А самое главное — оборачивали критичные этапы в транзакции и делали снепшоты. Потому что если всё накрывается медным тазом на полпути, надо иметь возможность сказать «ёб твою мать» и откатиться к вчерашнему состоянию за пять минут, а не за пять суток.

4. Валидация:

   • После загрузки начинался цирк. Сравнивали контрольные суммы, сверяли количество записей — вроде бы всё сходится. А потом выборочно лезем в самые важные бизнес-сущности и начинаем сверять конкретные цифры. И вот тут бывает ни хуя себе — вроде всё ок, а в одной колонке вместо NULL пустая строка проскочила, и уже пол-отчёта ебётся. Поэтому доверия ебать ноль, пока сам вручную не потрогаешь.

В общем, процесс тот ещё, но когда всё взлетает и данные на новом месте живут-поживают — это прям кайф, ебать мои старые костыли. Главное — не бздеть, всё тщательно планировать и всегда иметь путь для отступления.