Сценарии тестирования ETL используются для проверки процесса тестирования ETL. В следующей таблице описаны некоторые из наиболее распространенных сценариев и тестовых случаев, которые используются тестерами ETL.
Проверка структуры
Это включает проверку исходной и целевой таблиц структуры в соответствии с документом сопоставления.
Тип данных должен быть проверен в исходной и целевой системах.
Длина типов данных в исходной и целевой системах должна быть одинаковой.
Типы полей данных и их формат должны быть одинаковыми в исходной и целевой системах.
Проверка имен столбцов в целевой системе.
Проверка соответствия документа
Это включает в себя проверку документа сопоставления, чтобы убедиться, что вся информация была предоставлена. Документ сопоставления должен иметь журнал изменений, вести типы данных, длину, правила преобразования и т. Д.
Проверить ограничения
Это включает проверку ограничений и обеспечение их применения к ожидаемым таблицам.
Проверка целостности данных
Это включает проверку неправильного использования ограничений целостности, таких как внешний ключ.
Длина и тип данных атрибута могут различаться в разных таблицах, хотя их определение остается неизменным на семантическом уровне.
Проверка полноты данных
Он включает в себя проверку, все ли данные загружены в целевую систему из исходной системы.
Подсчет количества записей в исходной и целевой системах.
Анализ граничных значений.
Проверка уникальных значений первичных ключей.
Проверка правильности данных
Это включает проверку значений данных в целевой системе.
Ошибочные или неточные данные приведены в табл.
Нулевые, не уникальные данные сохраняются при отключении ограничения целостности во время импорта.
Проверка преобразования данных
Это включает в себя создание электронной таблицы сценариев для входных значений и ожидаемых результатов, а затем проверку с конечными пользователями.
Проверка родительско-дочерних отношений в данных путем создания сценариев.
Использование профилирования данных для сравнения диапазона значений в каждом поле.
Проверка правильности типов данных в хранилище, упомянутых в модели данных.
Проверка качества данных
Он включает в себя проверку номера, проверку даты, проверку точности, проверку данных, проверку нуля и т. Д.
Пример. Формат даты должен быть одинаковым для всех значений.
Нулевая проверка
Он включает в себя проверку значений Null, где Not Null упоминается для этого поля.
Повторная проверка
Это включает проверку дублированных значений в целевой системе, когда данные поступают из нескольких столбцов из исходной системы.
Проверка первичных ключей и других столбцов, если есть дублирующиеся значения в соответствии с бизнес-требованиями.
Проверка даты проверки
Проверка поля даты для различных действий, выполняемых в процессе ETL.
Общие тесты для проверки даты —
From_Date не должно превышать To_Date
Формат значений даты должен быть правильным.
Значения даты не должны иметь никаких нежелательных значений или нулевых значений.
Полная проверка данных минус запрос
Он включает проверку полного набора данных в исходной и целевой таблицах с использованием минус-запроса.
Вы должны выполнить и источник минус цель и цель минус источник .
Если минус-запрос возвращает значение, это следует рассматривать как несовпадающие строки.
Вам необходимо сопоставить строки в источнике и цели, используя инструкцию Intersect .
Число, возвращаемое Intersect, должно совпадать с индивидуальным количеством исходных и целевых таблиц.
Если минус-запрос не возвращает строк и пересечение счетчиков меньше, чем исходное или целевое количество таблиц, то в таблице содержатся повторяющиеся строки.
Другие тестовые сценарии
Другие тестовые сценарии могут заключаться в проверке того, что процесс извлечения не извлек дублирующиеся данные из исходной системы.
Команда тестирования будет вести список операторов SQL, которые выполняются для проверки того, что из исходных систем не было извлечено дублированных данных.
Очистка данных
Нежелательные данные должны быть удалены перед загрузкой данных в область подготовки.