Проверка полноты данных выполняется для проверки того, что данные в целевой системе соответствуют ожиданиям после загрузки.
Общие тесты, которые могут быть выполнены для этого, следующие:
-
Проверка Агрегатных функций (сумма, максимум, минимум, количество),
-
Проверка и проверка количества и фактических данных между источником и целью для столбцов без преобразований или с простыми преобразованиями.
Проверка Агрегатных функций (сумма, максимум, минимум, количество),
Проверка и проверка количества и фактических данных между источником и целью для столбцов без преобразований или с простыми преобразованиями.
Проверка достоверности
Сравните количество записей в исходной и целевой таблицах. Это можно сделать, написав следующие запросы —
SELECT count (1) FROM employee; SELECT count (1) FROM emp_dim;
Проверка профиля данных
Он включает проверку агрегатных функций, таких как count, sum и max, в исходной и целевой таблицах (факт или измерение).
Проверка профиля данных столбца
Это включает в себя сравнение различных значений и количества строк для каждого отдельного значения.
SELECT city, count(*) FROM employee GROUP BY city; SELECT city_id, count(*) FROM emp_dim GROUP BY city_id;
Проверка дубликатов данных
Это включает проверку первичного ключа и уникального ключа в столбце или в комбинации столбцов, которые должны быть уникальными в соответствии с бизнес-требованиями. Вы можете использовать следующий запрос для проверки дубликатов данных: