Что такое ETL?
ETL — это сокращение от Extract, Transform и Load. В этом процессе инструмент ETL извлекает данные из разных исходных систем РСУБД, затем преобразует данные, например, применяет вычисления, конкатенации и т. Д., А затем загружает данные в систему хранилища данных.
В ETL данные поступают из источника в цель. В ETL механизм преобразования процессов заботится о любых изменениях данных.
Что такое ELT?
ELT — это другой метод рассмотрения инструментального подхода к перемещению данных. Вместо преобразования данных перед их записью ELT позволяет целевой системе выполнить преобразование. Данные сначала копируются в цель, а затем преобразуются на место.
ELT обычно используется с базами данных без Sql, такими как кластер Hadoop, устройство обработки данных или облачная установка.
Разница между ETL и ELT
Процессы ETL и ELT отличаются по следующим параметрам:
| параметры | ETL | ELT |
|---|---|---|
| Обработать | Данные преобразуются на промежуточном сервере и затем передаются в базу данных Datawarehouse. | Данные остаются в БД хранилища данных. |
| Использование кода | Используется для
|
Используется для больших объемов данных |
| преобразование | Преобразования выполняются в сервере ETL / области подготовки. | Преобразования выполняются в целевой системе |
| Время-Load | Данные сначала загружаются в промежуточную, а затем загружаются в целевую систему. Время интенсивно. | Данные загружаются в целевую систему только один раз. Быстрее. |
| Время-трансформация | Процесс ETL должен ждать завершения преобразования. По мере увеличения размера данных время преобразования увеличивается. | В процессе ELT скорость никогда не зависит от размера данных. |
| Время обслуживания | Это требует высокого обслуживания, так как вам нужно выбрать данные для загрузки и преобразования. | Низкие эксплуатационные расходы, так как данные всегда доступны. |
| Сложность реализации | На ранней стадии проще реализовать. | Для реализации процесса ELT организация должна иметь глубокие знания инструментов и экспертных навыков. |
| Поддержка хранилища данных | Модель ETL, используемая для локальных, реляционных и структурированных данных. | Используется в масштабируемой облачной инфраструктуре, которая поддерживает структурированные, неструктурированные источники данных. |
| Поддержка озера данных | Не поддерживает. | Позволяет использовать озеро данных с неструктурированными данными. |
| сложность | Процесс ETL загружает только важные данные, определенные во время разработки. | Этот процесс включает в себя разработку из вывода в обратном направлении и загрузку только соответствующих данных. |
| Стоимость | Высокие затраты для малого и среднего бизнеса. | Низкие входные расходы при использовании онлайн-ПО в качестве сервисной платформы. |
| Lookups | В процессе ETL как факты, так и измерения должны быть доступны в области подготовки. | Все данные будут доступны, поскольку извлечение и загрузка выполняются одним действием. |
| Скопления | Сложность возрастает с дополнительным объемом данных в наборе данных. | Мощь целевой платформы позволяет быстро обрабатывать значительные объемы данных. |
| вычисления | Перезаписывает существующий столбец или Необходимо добавить набор данных и отправить на целевую платформу. | Легко добавить вычисляемый столбец в существующую таблицу. |
| зрелость | Процесс используется более двух десятилетий. Это хорошо документировано, и лучшие практики легко доступны. | Относительно новая концепция и комплекс для реализации. |
| аппаратные средства | Большинство инструментов имеют уникальные требования к оборудованию, которые стоят дорого. | Быть стоимостью оборудования Saas не проблема. |
| Поддержка неструктурированных данных | В основном поддерживает реляционные данные | Поддержка неструктурированных данных легко доступны. |
КЛЮЧЕВАЯ РАЗНИЦА
- ETL обозначает извлечение, преобразование и загрузку, в то время как ELT обозначает извлечение, загрузку, преобразование.
- ETL загружает данные сначала на промежуточный сервер, а затем в целевую систему, тогда как ELT загружает данные непосредственно в целевую систему.
- Модель ETL используется для локальных, реляционных и структурированных данных, в то время как ELT используется для масштабируемых облачных структурированных и неструктурированных источников данных.
- ETL в основном используется для небольшого количества данных, тогда как ELT используется для больших объемов данных.
- ETL не обеспечивает поддержку озера данных, в то время как ELT обеспечивает поддержку озера данных.
- ETL легко внедрить, в то время как ELT требует нишевых навыков для внедрения и поддержки.