Учебники

Тестирование ETL — Полнота данных

Проверка полноты данных выполняется для проверки того, что данные в целевой системе соответствуют ожиданиям после загрузки.

Общие тесты, которые могут быть выполнены для этого, следующие:

  • Проверка Агрегатных функций (сумма, максимум, минимум, количество),

  • Проверка и проверка количества и фактических данных между источником и целью для столбцов без преобразований или с простыми преобразованиями.

Проверка Агрегатных функций (сумма, максимум, минимум, количество),

Проверка и проверка количества и фактических данных между источником и целью для столбцов без преобразований или с простыми преобразованиями.

Проверка достоверности

Сравните количество записей в исходной и целевой таблицах. Это можно сделать, написав следующие запросы —

SELECT count (1) FROM employee; 
SELECT count (1) FROM emp_dim; 

Проверка профиля данных

Он включает проверку агрегатных функций, таких как count, sum и max, в исходной и целевой таблицах (факт или измерение).

Проверка профиля данных столбца

Это включает в себя сравнение различных значений и количества строк для каждого отдельного значения.

SELECT city, count(*) FROM employee GROUP BY city; 
SELECT city_id, count(*) FROM emp_dim GROUP BY city_id;

Проверка дубликатов данных

Это включает проверку первичного ключа и уникального ключа в столбце или в комбинации столбцов, которые должны быть уникальными в соответствии с бизнес-требованиями. Вы можете использовать следующий запрос для проверки дубликатов данных: