Ответ
Качество данных — это степень, в которой данные соответствуют требованиям для их целевого использования в операциях, принятии решений и планировании. Оно оценивается по нескольким ключевым измерениям:
- Точность (Accuracy): Данные верно отражают реальный объект или событие.
- Полнота (Completeness): Все необходимые данные присутствуют, без пропусков в критических полях.
- Непротиворечивость (Consistency): Данные не конфликтуют между собой в рамках одной или связанных систем.
- Актуальность (Timeliness): Данные доступны в нужное время и отражают текущую ситуацию.
- Уникальность (Uniqueness): Сущность представлена в системе только один раз, без дубликатов.
- Валидность (Validity): Данные соответствуют заданным бизнес-правилам, форматам и диапазонам значений.
Практическая проверка (SQL-примеры):
-- Проверка на дубликаты по ключевому полю
SELECT email, COUNT(*) as duplicate_count
FROM users
GROUP BY email
HAVING COUNT(*) > 1;
-- Проверка полноты (пропуски в обязательном поле)
SELECT COUNT(*) as null_customer_orders
FROM orders
WHERE customer_id IS NULL;
-- Проверка валидности (данные вне допустимого диапазона)
SELECT user_id, age
FROM profiles
WHERE age < 0 OR age > 120;Инструменты и подходы: Для обеспечения качества используются как ручные скрипты и дашборды, так и специализированные фреймворки (Great Expectations, Apache Griffin, Deequ), которые позволяют декларативно задавать assertions и автоматически мониторить состояние данных.