Выполнение преобразований данных немного сложнее, поскольку этого нельзя достичь, написав один SQL-запрос, а затем сравнив выходные данные с целью. Для преобразования данных тестирования ETL вам может потребоваться написать несколько SQL-запросов для каждой строки, чтобы проверить правила преобразования.
Для начала убедитесь, что исходных данных достаточно для проверки всех правил преобразования. Ключом к успешному тестированию ETL для преобразований данных является выбор правильных и достаточных образцов данных из исходной системы для применения правил преобразования.
Ключевые шаги для преобразования данных тестирования ETL перечислены ниже —
Первым шагом является создание списка сценариев входных данных и ожидаемых результатов и проверка их с бизнес-клиентом. Это хороший подход для сбора требований во время проектирования и может также использоваться как часть тестирования.
Следующим шагом является создание тестовых данных, которые содержат все сценарии. Используйте разработчика ETL для автоматизации всего процесса заполнения наборов данных электронной таблицей сценариев, чтобы обеспечить универсальность и мобильность по той причине, что сценарии могут измениться.
Затем используйте результаты профилирования данных для сравнения диапазона и представления значений в каждом поле между целевыми и исходными данными.
Проверка правильности обработки сгенерированных ETL полей, например суррогатных ключей.
Проверка типов данных в хранилище те же, что были указаны в модели данных или дизайне.
Создайте сценарии данных между таблицами, которые проверяют ссылочную целостность.
Проверьте родитель-дочерние отношения в данных.
Последний шаг — выполнить преобразование поиска . Ваш поисковый запрос должен быть прямым без какой-либо агрегации и должен возвращать только одно значение на исходную таблицу. Вы можете напрямую присоединиться к таблице поиска в исходном квалификаторе, как и в предыдущем тесте. Если это не так, напишите запрос, соединив таблицу поиска с основной таблицей в источнике, и сравните данные в соответствующих столбцах цели.