Менеджеры процессов отвечают за поддержание потока данных как в хранилище данных, так и из него. Есть три разных типа менеджеров процессов —
- Менеджер нагрузки
- Заведующий складом
- Менеджер запросов
Диспетчер загрузки хранилища данных
Менеджер загрузки выполняет операции, необходимые для извлечения и загрузки данных в базу данных. Размер и сложность диспетчера нагрузки различаются в зависимости от конкретного решения для одного хранилища данных.
Архитектура диспетчера нагрузки
Диспетчер нагрузки выполняет следующие функции —
-
Извлечение данных из исходной системы.
-
Быстрая загрузка извлеченных данных во временное хранилище данных.
-
Выполните простые преобразования в структуру, похожую на структуру хранилища данных.
Извлечение данных из исходной системы.
Быстрая загрузка извлеченных данных во временное хранилище данных.
Выполните простые преобразования в структуру, похожую на структуру хранилища данных.
Извлечь данные из источника
Данные извлекаются из оперативных баз данных или внешних поставщиков информации. Шлюзы — это прикладные программы, которые используются для извлечения данных. Он поддерживается базовой СУБД и позволяет клиентской программе генерировать SQL для выполнения на сервере. Open Database Connection (ODBC) и Java Database Connection (JDBC) являются примерами шлюза.
Быстрая загрузка
-
Чтобы минимизировать общее окно загрузки, данные должны быть загружены в хранилище в кратчайшие сроки.
-
Преобразования влияют на скорость обработки данных.
-
Более эффективно загружать данные в реляционную базу данных до применения преобразований и проверок.
-
Технология шлюзов не подходит, так как они неэффективны, когда задействованы большие объемы данных.
Чтобы минимизировать общее окно загрузки, данные должны быть загружены в хранилище в кратчайшие сроки.
Преобразования влияют на скорость обработки данных.
Более эффективно загружать данные в реляционную базу данных до применения преобразований и проверок.
Технология шлюзов не подходит, так как они неэффективны, когда задействованы большие объемы данных.
Простые преобразования
Во время загрузки может потребоваться выполнить простые преобразования. После выполнения простых преобразований мы можем выполнять сложные проверки. Предположим, что мы загружаем транзакцию продажи EPOS, нам нужно выполнить следующие проверки:
- Удалите все столбцы, которые не требуются на складе.
- Преобразуйте все значения в требуемые типы данных.
Заведующий складом
Менеджер склада отвечает за процесс управления складом. Он состоит из стороннего системного программного обеспечения, программ на C и сценариев оболочки. Размер и сложность менеджера склада зависит от конкретных решений.
Архитектура менеджера склада
Менеджер склада включает в себя следующее:
- Процесс контроля
- Хранимые процедуры или C с SQL
- Инструмент резервного копирования / восстановления
- Скрипты SQL
Функции менеджера склада
Менеджер склада выполняет следующие функции —
-
Анализирует данные для проверки целостности и проверки ссылочной целостности.
-
Создает индексы, бизнес-представления, разделы на основе базовых данных.
-
Создает новые агрегаты и обновляет существующие агрегаты.
-
Создает нормализации.
-
Преобразует и объединяет исходные данные временного хранилища в опубликованное хранилище данных.
-
Резервное копирование данных в хранилище данных.
-
Архивирует данные, которые достигли конца своей захваченной жизни.
Анализирует данные для проверки целостности и проверки ссылочной целостности.
Создает индексы, бизнес-представления, разделы на основе базовых данных.
Создает новые агрегаты и обновляет существующие агрегаты.
Создает нормализации.
Преобразует и объединяет исходные данные временного хранилища в опубликованное хранилище данных.
Резервное копирование данных в хранилище данных.
Архивирует данные, которые достигли конца своей захваченной жизни.
Примечание . Менеджер склада анализирует профили запросов, чтобы определить, подходят ли индекс и агрегаты.
Менеджер запросов
Менеджер запросов отвечает за направление запросов к подходящим таблицам. Направляя запросы в соответствующие таблицы, это ускоряет процесс запроса и ответа. Кроме того, диспетчер запросов отвечает за планирование выполнения запросов, публикуемых пользователем.
Архитектура Query Manager
Диспетчер запросов включает в себя следующие компоненты —
Он представляет данные пользователю в понятной им форме.
Он планирует выполнение запросов, опубликованных конечным пользователем.
В нем хранятся профили запросов, чтобы менеджер хранилища мог определить, какие индексы и агрегаты подходят.