Хранилище данных известно как центральное хранилище для хранения данных из одного или нескольких разнородных источников данных. Хранилище данных используется для составления отчетов и анализа информации и хранит как исторические, так и текущие данные. Данные в системе DW используются для аналитической отчетности, которая впоследствии используется бизнес-аналитиками, менеджерами по продажам или сотрудниками отдела знаний для принятия решений.
Данные в системе DW загружаются из операционной системы транзакций, такой как Sales, Marketing, HR, SCM и т. Д. Они могут проходить через хранилище операционных данных или другие преобразования, прежде чем загружаться в систему DW для обработки информации.
Хранилище данных — Ключевые особенности
Ключевые особенности системы DW:
-
Это центральное хранилище данных, где данные хранятся из одного или нескольких разнородных источников данных.
-
Система DW хранит как текущие, так и исторические данные. Обычно система DW хранит 5-10 лет исторических данных.
-
Система DW всегда хранится отдельно от операционной системы транзакций.
-
Данные в системе DW используются для различных типов аналитической отчетности в диапазоне от квартального до годового сравнения.
Это центральное хранилище данных, где данные хранятся из одного или нескольких разнородных источников данных.
Система DW хранит как текущие, так и исторические данные. Обычно система DW хранит 5-10 лет исторических данных.
Система DW всегда хранится отдельно от операционной системы транзакций.
Данные в системе DW используются для различных типов аналитической отчетности в диапазоне от квартального до годового сравнения.
Необходимость системы DW
Предположим, у вас есть агентство по жилищному кредитованию, в которое поступают данные из нескольких приложений, таких как: маркетинг, продажи, ERP, HRM, MM и т. Д. Эти данные извлекаются, преобразуются и загружаются в хранилище данных.
Например, если вам нужно сравнить квартальные / годовые продажи продукта, вы не можете использовать операционную транзакционную базу данных, так как это приведет к зависанию системы транзакций. Поэтому для этой цели используется хранилище данных.
Разница между DW и ODB
Различия между хранилищем данных и операционной базой данных (транзакционная база данных) заключаются в следующем:
-
Транзакционная система предназначена для известных рабочих нагрузок и транзакций, таких как обновление записи пользователя, поиск записи и т. Д. Однако транзакции хранилища данных являются более сложными и представляют общую форму данных.
-
Транзакционная система содержит текущие данные организации, а хранилище данных обычно содержит исторические данные.
-
Транзакционная система поддерживает параллельную обработку нескольких транзакций. Механизмы контроля и восстановления параллелизма необходимы для поддержания согласованности базы данных.
-
Запрос оперативной базы данных позволяет читать и изменять операции (удаление и обновление), в то время как для запроса OLAP требуется только доступ только для чтения к хранимым данным (оператор Select).
Транзакционная система предназначена для известных рабочих нагрузок и транзакций, таких как обновление записи пользователя, поиск записи и т. Д. Однако транзакции хранилища данных являются более сложными и представляют общую форму данных.
Транзакционная система содержит текущие данные организации, а хранилище данных обычно содержит исторические данные.
Транзакционная система поддерживает параллельную обработку нескольких транзакций. Механизмы контроля и восстановления параллелизма необходимы для поддержания согласованности базы данных.
Запрос оперативной базы данных позволяет читать и изменять операции (удаление и обновление), в то время как для запроса OLAP требуется только доступ только для чтения к хранимым данным (оператор Select).
DW Архитектура
Хранилище данных включает в себя очистку данных, интеграцию данных и консолидацию данных.
Хранилище данных имеет трехуровневую архитектуру — уровень источника данных, уровень интеграции и уровень представления . На приведенном выше рисунке показана общая архитектура системы хранилища данных.