1
Архитектура и источники / Ingest → Raw
1. С какими источниками удалось поработать и каким образом из них данные попадали в RAW слой?
2. Раз в день в каком виде приходили данные: батч, полный слепок или инкремент?
3. В parquet лежали полные слепки таблиц или инкрементальные или событийные данные?
4. Кто был основным источником складских данных?
2
Ingest → Clean / Валидация и качество данных
5. Какие основные валидации приходилось делать и какие проблемы были с данными?
6. Как происходила дедупликация: внутри батча или с учётом истории?
7. Как вы определяли, что данные новые или запоздалые?
3