Учебники

Apache Tajo — интеграция OpenStack Swift

Октябрь 8, 2018

Swift — это распределенное и согласованное хранилище объектов / блобов. Swift предлагает программное обеспечение облачного хранилища, так что вы можете хранить и извлекать много данных с помощью простого API. Тахо поддерживает интеграцию Swift.

Ниже приведены предварительные условия интеграции Swift —

  • стриж
  • Hadoop

Core-site.xml

Добавьте следующие изменения в файл hadoop «core-site.xml» — 

<property> 
   <name>fs.swift.impl</name> 
   <value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value> 
   <description>File system implementation for Swift</description> 
</property>  

<property> 
   <name>fs.swift.blocksize</name> 
   <value>131072</value> 
   <description>Split size in KB</description> 
</property>

Это будет использоваться Hadoop для доступа к объектам Swift. После внесения всех изменений перейдите в каталог Tajo, чтобы установить переменную среды Swift.

конф / Tajo-env.h

Откройте файл конфигурации Tajo и добавьте переменную окружения set следующим образом: 

$ vi conf/tajo-env.h  
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar

Теперь Тахо сможет запрашивать данные с помощью Swift.

Создать таблицу

Давайте создадим внешнюю таблицу для доступа к объектам Swift в Tajo следующим образом: 

default> create external table swift(num1 int, num2 text, num3 float) 
   using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';

После того, как таблица была создана, вы можете запустить SQL-запросы.

38
Share: