Учебники

Apache Tajo — Настройки конфигурации

Октябрь 8, 2018

Конфигурация Tajo основана на системе конфигурации Hadoop. В этой главе подробно описываются настройки конфигурации Tajo.

Базовые настройки

Тахо использует следующие два файла конфигурации:

  • catalog-site.xml — конфигурация для сервера каталога.
  • tajo-site.xml — настройка для других модулей Tajo.

Конфигурация распределенного режима

Настройка распределенного режима выполняется в распределенной файловой системе Hadoop (HDFS). Давайте следуем инструкциям по настройке распределенного режима Tajo.

Tajo-site.xml

Этот файл доступен в каталоге @ / path / to / tajo / conf и служит конфигурацией для других модулей Tajo. Чтобы получить доступ к Tajo в распределенном режиме, примените следующие изменения к «tajo-site.xml» . 

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://hostname:port/tajo</value> 
</property>
  
<property> 
   <name>tajo.master.umbilical-rpc.address</name> 
   <value>hostname:26001</value> 
</property> 
 
<property> 
   <name>tajo.master.client-rpc.address</name> 
   <value>hostname:26002</value> 
</property>
  
<property> 
   <name>tajo.catalog.client-rpc.address</name> 
   <value>hostname:26005</value> 
</property>

Конфигурация главного узла

Tajo использует HDFS в качестве основного типа хранилища. Конфигурация следующая и должна быть добавлена ​​в «tajo-site.xml» . 

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://namenode_hostname:port/path</value> 
</property>

Конфигурация каталога

Если вы хотите настроить службу каталогов, скопируйте $ path / to / Tajo / conf / catalogsite.xml.template в $ path / to / Tajo / conf / catalog-site.xml и добавьте любую из следующих конфигураций по мере необходимости.

Например, если вы используете «Хранилище каталогов Hive» для доступа к Tajo, конфигурация должна быть такой: 

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.HCatalogStore</value> 
</property>

Если вам необходимо сохранить каталог MySQL , примените следующие изменения: 

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.MySQLStore</value> 
</property> 

<property> 
   <name>tajo.catalog.jdbc.connection.id</name> 
   <value><mysql user name></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.connection.password</name> 
   <value><mysql user password></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.uri</name> 
   <value>jdbc:mysql://<mysql host name>:<mysql port>/<database name for tajo>
      ?createDatabaseIfNotExist = true</value> 
</property>

Точно так же вы можете зарегистрировать другие поддерживаемые каталоги Tajo в файле конфигурации.

Конфигурация рабочего

По умолчанию TajoWorker хранит временные данные в локальной файловой системе. Он определяется в файле «tajo-site.xml» следующим образом: 

<property> 
   <name>tajo.worker.tmpdir.locations</name> 
   <value>/disk1/tmpdir,/disk2/tmpdir,/disk3/tmpdir</value> 
</property>

Чтобы увеличить емкость выполнения задач каждого рабочего ресурса, выберите следующую конфигурацию — 

<property> 
   <name>tajo.worker.resource.cpu-cores</name> 
   <value>12</value> 
</property>
 
<property> 
   <name>tajo.task.resource.min.memory-mb</name> 
   <value>2000</value> 
</property>
  
<property> 
   <name>tajo.worker.resource.disks</name> 
   <value>4</value> 
</property>

Чтобы рабочий Tajo работал в выделенном режиме, выберите следующую конфигурацию:

41
Share: