Работали ли вы с Snowflake?

А, Snowflake, говоришь? Ну, это ж, ёпта, целая история! Я с этой штукой работал как раз, когда нужно было аналитические пайплайны городить и отчёты всякие строить. Не то чтобы прям фанат, но штука, надо признать, мощная, хоть и дорогая, как чёрт знает что.

Что я там понаделал, если коротко:

• Архитектура и управление: Ну, это классика. Создавал эти виртуальные склады — WAREHOUSES, блять. Отдельный для ETL-процессов, чтобы они там всё вмандюривали, не мешая никому, и отдельный для аналитиков, чтобы они свои запросы могли гонять, не доводя друг друга до белого каления. Главный фокус — правильно размер выставить (X-SMALL до XX-LARGE) и настроить автостоп. Чтобы этот склад, как только все пошли на обед, сам накрывался медным тазом (AUTO_SUSPEND), а не жрал деньги просто так. Иначе бухгалтерия потом приходит с вопросом «какого хуя?», и волнение ебать.
• Загрузка и трансформация данных: Таскал в него данные отовсюду — из S3, из Azure. Командой COPY INTO — для разовых загрузок, а через Snowpipe — чтобы всё само текло, как по маслу. Полуструктурированные JSON-ы — это вообще отдельная песня. Раньше бы с ними возился, как дурак, а тут вроде PARSE_JSON кинул и потом по точечной нотации к полям обращаешься. Удобно, чё.
• Управление данными: Вот тут реально крутые фишки. Zero-Copy Cloning — это просто магия какая-то. Надо тестовую базу накатить? Раз — и готово, полная копия, но данные-то не дублируются, они ссылаются на оригинал. И Time Travel — спасение для распиздяев. Кто-то что-то не то удалил? Не беда, отмотай на три часа назад и всё вернётся. Сам от себя охуевал, когда впервые воспользовался.
• Безопасность и доступ: Ну, без этого никуда. Настраивал роли (RBAC), чтобы каждый лазил только в своё. Делал безопасные вьюхи (SECURE VIEWS), чтобы логику скрыть, и динамическое маскирование, чтобы, например, Ваня из поддержки видел только последние четыре цифры карты, а не всю.

Вот, смотри, как я, например, таблицу для продаж делал и данные в неё пихал:

-- Создаём таблицу фактов по продажам. Кластеризуем по дате, чтобы запросы по периодам летали быстро.
CREATE OR REPLACE TABLE sales_fact (
    transaction_id NUMBER,
    product_id NUMBER,
    sale_date DATE,
    amount DECIMAL(10,2)
)
CLUSTER BY (sale_date);

-- А тут просто загружаем данные из подготовленной зоны в S3. Всё чинно, благородно.
COPY INTO sales_fact
FROM @my_s3_stage/data/files/
FILE_FORMAT = (TYPE = 'CSV' SKIP_HEADER = 1);

В общем, главный плюс, который я оценил — это то, что вычисления и хранение там разделены. Масштабируешь что нужно, когда нужно. И с полуструктурированными данными возни овердохуища меньше. И администрировать в целом проще, чем тот же классический Teradata или Redshift. Но цена, бля... цена иногда заставляет задуматься, а не проще ли на чём-то другом это всё собрать.