ETL-тестирование в основном выполняется с использованием сценариев SQL и сбора данных в электронных таблицах. Этот подход к выполнению тестирования ETL очень медленный и занимает много времени, подвержен ошибкам и выполняется на данных выборки.
Техническая проблема в ручном тестировании ETL
Ваша группа тестирования ETL пишет запросы SQL для проверки данных в системе хранилища, и им необходимо выполнить их вручную с помощью редактора SQL, а затем поместить данные в электронную таблицу Excel и сравнить их вручную. Этот процесс трудоемкий, ресурсоемкий и неэффективный.
На рынке доступны различные инструменты для автоматизации этого процесса. Наиболее распространенными инструментами тестирования ETL являются QuerySurge и Informatica Data Validation.
QuerySurge
QuerySurge — это решение для тестирования данных, предназначенное для тестирования больших данных, хранилищ данных и процесса ETL. Он может автоматизировать весь процесс для вас и хорошо вписаться в вашу стратегию DevOps.
Ключевые особенности QuerySurge следующие:
-
В нем есть Query Wizards, позволяющие быстро и легко создавать тестовые QueryPairs без необходимости написания SQL-кода.
-
Имеется библиотека дизайна с многоразовыми фрагментами запросов. Вы также можете создавать собственные QueryPairs.
-
Он может сравнивать данные из исходных файлов и хранилищ данных с целевым хранилищем данных или хранилищем больших данных.
-
Он может сравнивать миллионы строк и столбцов данных в считанные минуты.
-
Это позволяет пользователю планировать выполнение тестов (1) немедленно, (2) в любую дату / время или (3) автоматически после окончания события.
-
Он может создавать информативные отчеты, просматривать обновления и автоматически отправлять результаты по электронной почте вашей команде.
В нем есть Query Wizards, позволяющие быстро и легко создавать тестовые QueryPairs без необходимости написания SQL-кода.
Имеется библиотека дизайна с многоразовыми фрагментами запросов. Вы также можете создавать собственные QueryPairs.
Он может сравнивать данные из исходных файлов и хранилищ данных с целевым хранилищем данных или хранилищем больших данных.
Он может сравнивать миллионы строк и столбцов данных в считанные минуты.
Это позволяет пользователю планировать выполнение тестов (1) немедленно, (2) в любую дату / время или (3) автоматически после окончания события.
Он может создавать информативные отчеты, просматривать обновления и автоматически отправлять результаты по электронной почте вашей команде.
Чтобы автоматизировать весь процесс, инструмент ETL должен запустить QuerySurge через API командной строки после того, как программное обеспечение ETL завершит процесс загрузки.
QuerySurge будет запускаться автоматически и без присмотра, выполняя все тесты, а затем отправляя результаты всем членам команды по электронной почте.
Как и QuerySurge, Informatica Data Validation предоставляет инструмент тестирования ETL, который помогает вам ускорить и автоматизировать процесс тестирования ETL в среде разработки и производства. Это позволяет вам предоставлять полное, повторяемое и проверяемое тестовое покрытие за меньшее время. Не требует навыков программирования!