Учебники

Apache Tajo — Архитектура

Следующая иллюстрация изображает архитектуру Apache Tajo.

Архитектура

В следующей таблице подробно описан каждый из компонентов.

S.No. Компонент и описание
1

клиент

Клиент отправляет операторы SQL Мастеру Тахо, чтобы получить результат.

2

Мастер

Мастер — главный демон. Он отвечает за планирование запросов и является координатором для рабочих.

3

Сервер каталогов

Поддерживает описания таблиц и индексов. Он встроен в Демон Мастера. Сервер каталога использует Apache Derby в качестве уровня хранения и подключается через клиент JDBC.

4

работник

Главный узел назначает задачу рабочим узлам. TajoWorker обрабатывает данные. По мере увеличения числа TajoWorkers производительность обработки также увеличивается линейно.

5

Мастер запросов

Мастер Тахо назначает запрос Мастеру запросов. Мастер запросов отвечает за управление планом распределенного выполнения. Он запускает TaskRunner и планирует задачи для TaskRunner. Основная роль мастера запросов заключается в мониторинге запущенных задач и сообщении о них главному узлу.

6

Менеджеры узлов

Управляет ресурсом рабочего узла. Он принимает решение о распределении запросов к узлу.

7

TaskRunner

Действует как локальный механизм выполнения запросов. Он используется для запуска и мониторинга процесса запроса. TaskRunner обрабатывает одну задачу за раз.

Он имеет следующие три основных атрибута —

  • Логический план — блок выполнения, который создал задачу.
  • Фрагмент — входной путь, диапазон смещения и схема.
  • Извлекает URI
8

Query Executor

Используется для выполнения запроса.

9

Складское обслуживание

Соединяет базовое хранилище данных с Tajo.

клиент

Клиент отправляет операторы SQL Мастеру Тахо, чтобы получить результат.

Мастер

Мастер — главный демон. Он отвечает за планирование запросов и является координатором для рабочих.

Сервер каталогов

Поддерживает описания таблиц и индексов. Он встроен в Демон Мастера. Сервер каталога использует Apache Derby в качестве уровня хранения и подключается через клиент JDBC.

работник

Главный узел назначает задачу рабочим узлам. TajoWorker обрабатывает данные. По мере увеличения числа TajoWorkers производительность обработки также увеличивается линейно.

Мастер запросов

Мастер Тахо назначает запрос Мастеру запросов. Мастер запросов отвечает за управление планом распределенного выполнения. Он запускает TaskRunner и планирует задачи для TaskRunner. Основная роль мастера запросов заключается в мониторинге запущенных задач и сообщении о них главному узлу.

Менеджеры узлов

Управляет ресурсом рабочего узла. Он принимает решение о распределении запросов к узлу.

TaskRunner

Действует как локальный механизм выполнения запросов. Он используется для запуска и мониторинга процесса запроса. TaskRunner обрабатывает одну задачу за раз.

Он имеет следующие три основных атрибута —

Query Executor

Используется для выполнения запроса.

Складское обслуживание

Соединяет базовое хранилище данных с Tajo.

Workflow

Tajo использует распределенную файловую систему Hadoop (HDFS) в качестве уровня хранения и имеет собственный механизм выполнения запросов вместо инфраструктуры MapReduce. Кластер Tajo состоит из одного главного узла и нескольких рабочих в узлах кластера.

Мастер в основном отвечает за планирование запросов и координатор для рабочих. Мастер делит запрос на небольшие задачи и назначает работникам. У каждого работника есть локальный механизм запросов, который выполняет направленный ациклический граф физических операторов.

Кроме того, Tajo может управлять распределенным потоком данных более гибким, чем в MapReduce, и поддерживает методы индексирования.

Веб-интерфейс Tajo имеет следующие возможности —