Тестер ETL в первую очередь отвечает за проверку источников данных, извлечение данных, применение логики преобразования и загрузку данных в целевые таблицы.
Основные обязанности тестера ETL перечислены ниже.
Проверьте таблицы в исходной системе
Он включает в себя следующие операции —
- Проверка счета
- Согласовать записи с исходными данными
- Проверка типа данных
- Убедитесь, что спам-данные не загружены
- Удалить дубликаты данных
- Проверьте все ключи на месте
Применить трансформационную логику
Логика преобразования применяется перед загрузкой данных. Он включает в себя следующие операции —
-
Проверка пороговых значений данных, например, возрастное значение не должно превышать 100.
-
Проверка количества записей до и после применения логики преобразования.
-
Проверка потока данных из промежуточной области в промежуточные таблицы.
-
Проверка суррогатного ключа.
Проверка пороговых значений данных, например, возрастное значение не должно превышать 100.
Проверка количества записей до и после применения логики преобразования.
Проверка потока данных из промежуточной области в промежуточные таблицы.
Проверка суррогатного ключа.
Загрузка данных
Данные загружаются из промежуточной области в целевую систему. Он включает в себя следующие операции —
-
Проверьте количество записей из промежуточной таблицы в целевой системе.
-
Убедитесь, что данные ключевого поля не пропущены или пустые.
-
Проверьте, загружены ли агрегированные значения и рассчитанные показатели в таблицы фактов.
-
Проверьте представления моделирования на основе целевых таблиц.
-
Проверьте, был ли CDC применен к таблице добавочной нагрузки.
-
Проверка данных в таблице измерений и проверка истории.
-
Проверьте отчеты BI на основе загруженной таблицы фактов и измерений и в соответствии с ожидаемыми результатами.
Проверьте количество записей из промежуточной таблицы в целевой системе.
Убедитесь, что данные ключевого поля не пропущены или пустые.
Проверьте, загружены ли агрегированные значения и рассчитанные показатели в таблицы фактов.
Проверьте представления моделирования на основе целевых таблиц.
Проверьте, был ли CDC применен к таблице добавочной нагрузки.
Проверка данных в таблице измерений и проверка истории.
Проверьте отчеты BI на основе загруженной таблицы фактов и измерений и в соответствии с ожидаемыми результатами.
Тестирование инструментов ETL
Тестеры ETL также обязаны тестировать инструменты и контрольные примеры. Он включает в себя следующие операции —