ETL расшифровывается как Extract, Transform и Load. Инструмент ETL извлекает данные из различных исходных систем РСУБД, преобразует данные, например, применяет вычисления, объединяет и т. Д., А затем загружает данные в систему хранилища данных. Данные загружаются в систему DW в виде таблиц измерений и фактов.
экстракция
-
Зона подготовки требуется во время загрузки ETL. Существуют различные причины, по которым требуется место для постановки.
-
Исходные системы доступны только в течение определенного периода времени для извлечения данных. Этот период времени меньше, чем общее время загрузки данных. Следовательно, область подготовки позволяет извлекать данные из исходной системы и сохранять их в области подготовки до окончания временного интервала.
-
Промежуточная область необходима, когда вы хотите собрать данные из нескольких источников данных вместе или если вы хотите объединить две или более систем вместе. Например, вы не сможете выполнить SQL-запрос, объединяющий две таблицы из двух физически разных баз данных.
-
Временной интервал извлечения данных для разных систем варьируется в зависимости от часового пояса и часов работы.
-
Данные, извлеченные из исходных систем, могут использоваться в нескольких системах хранилищ данных, хранилищах рабочих данных и т. Д.
-
ETL позволяет выполнять сложные преобразования и требует дополнительной области для хранения данных.
Зона подготовки требуется во время загрузки ETL. Существуют различные причины, по которым требуется место для постановки.
Исходные системы доступны только в течение определенного периода времени для извлечения данных. Этот период времени меньше, чем общее время загрузки данных. Следовательно, область подготовки позволяет извлекать данные из исходной системы и сохранять их в области подготовки до окончания временного интервала.
Промежуточная область необходима, когда вы хотите собрать данные из нескольких источников данных вместе или если вы хотите объединить две или более систем вместе. Например, вы не сможете выполнить SQL-запрос, объединяющий две таблицы из двух физически разных баз данных.
Временной интервал извлечения данных для разных систем варьируется в зависимости от часового пояса и часов работы.
Данные, извлеченные из исходных систем, могут использоваться в нескольких системах хранилищ данных, хранилищах рабочих данных и т. Д.
ETL позволяет выполнять сложные преобразования и требует дополнительной области для хранения данных.
преобразование
При преобразовании данных вы применяете набор функций к извлеченным данным, чтобы загрузить их в целевую систему. Данные, которые не требуют какого-либо преобразования, называются прямым перемещением или передачей данных.
Вы можете применять различные преобразования к извлеченным данным из исходной системы. Например, вы можете выполнять индивидуальные расчеты. Если вам нужен доход от суммы продаж, которого нет в базе данных, вы можете применить формулу SUM во время преобразования и загрузить данные.
Например, если у вас есть имя и фамилия в таблице в разных столбцах, вы можете использовать сцепление перед загрузкой.
нагрузка
На этапе загрузки данные загружаются в конечную целевую систему, и это может быть простой файл или система хранилища данных.