Реализован ли у вас детальный слой в вашей системе

«Реализован ли у вас детальный слой в вашей системе» — вопрос из категории Хранилища данных и ETL, который задают на 33% собеседований Аналитик Данных. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

В нашей системе детальный слой (DDS, Detailed Data Store) реализован и содержит "сырые" данные в максимально детализированном виде без агрегации. Данные хранятся в исходном формате с сохранением всех атрибутов и временных меток.

Пример структуры в PostgreSQL:

CREATE TABLE dds.transactions (
    transaction_id BIGSERIAL PRIMARY KEY,
    user_id INT NOT NULL,
    amount DECIMAL(12,2),
    currency VARCHAR(3),
    transaction_date TIMESTAMPTZ,
    source_system VARCHAR(50),
    raw_data JSONB,
    loaded_at TIMESTAMPTZ DEFAULT NOW()
);

Ключевые особенности:

  • Хранение истории изменений
  • Минимальная трансформация
  • Полная трассируемость данных
  • Поддержка медленно меняющихся измерений (SCD)