Инструмент ETL извлекает данные из всех этих разнородных источников данных, преобразует их (например, применяет вычисления, объединяет поля, ключи, удаляет неправильные поля данных и т. Д.) И загружает их в хранилище данных.
экстракция
Зона подготовки требуется во время загрузки ETL. Существуют различные причины, по которым требуется место для постановки. Исходные системы доступны только в течение определенного периода времени для извлечения данных. Этот период времени меньше, чем общее время загрузки данных. Следовательно, область подготовки позволяет извлекать данные из исходной системы и сохранять их в области подготовки до окончания временного интервала.
Промежуточная область необходима, когда вы хотите собрать данные из нескольких источников данных вместе или если вы хотите объединить две или более систем вместе.
Например, вы не сможете выполнить SQL-запрос, объединяющий две таблицы из двух физически разных баз данных.
Временной интервал извлечения данных для разных систем варьируется в зависимости от часового пояса и часов работы. Данные, извлеченные из исходных систем, могут использоваться в нескольких системах хранилищ данных, хранилищах рабочих данных и т. Д.
ETL позволяет выполнять сложные преобразования и требует дополнительной области для хранения данных.
преобразование
При преобразовании данных вы применяете набор функций к извлеченным данным, чтобы загрузить их в целевую систему. Данные, которые не требуют какого-либо преобразования, называются прямым перемещением или передачей данных.
Вы можете применять различные преобразования к извлеченным данным из исходной системы. Например, вы можете выполнять индивидуальные расчеты. Если вам нужен доход от суммы продаж, которого нет в базе данных, вы можете применить формулу SUM во время преобразования и загрузить данные.
Например — Если у вас есть имя и фамилия в таблице в разных столбцах, вы можете использовать сцепление перед загрузкой.
нагрузка
На этапе загрузки данные загружаются в конечную целевую систему, и это может быть простой файл или система хранилища данных.
Инструмент отчетности BI
Инструменты BI (Business Intelligence) используются бизнес-пользователями для создания базовых, средних и сложных отчетов из транзакционных данных в хранилище данных и путем создания юниверсов с использованием средства дизайна информации / UDT . Различные источники данных SAP и не-SAP могут использоваться для создания отчетов.
На рынке представлено немало инструментов для создания отчетов, инструментальных панелей и визуализации данных. Некоторые из которых следующие: