Учебники

Apache Tajo — Управление таблицами

Октябрь 8, 2018

Таблица — это логическое представление одного источника данных. Он состоит из логической схемы, разделов, URL и различных свойств. Таблицей Tajo может быть каталог в HDFS, отдельный файл, одна таблица HBase или таблица RDBMS.

Тахо поддерживает следующие два типа таблиц —

  • внешний стол
  • внутренний стол

Внешний стол

Внешняя таблица нуждается в свойстве местоположения при создании таблицы. Например, если ваши данные уже есть в виде файлов Text / JSON или таблицы HBase, вы можете зарегистрировать их как внешнюю таблицу Tajo.

Следующий запрос является примером создания внешней таблицы. 

create external table sample(col1 int,col2 text,col3 int) location ‘hdfs://path/to/table';

Вот,

  • Внешнее ключевое слово — используется для создания внешней таблицы. Это помогает создать таблицу в указанном месте.

  • Образец относится к имени таблицы.

  • Местоположение — это каталог для HDFS, Amazon S3, HBase или локальной файловой системы. Чтобы назначить свойство местоположения для каталогов, используйте приведенные ниже примеры URI —

    • HDFS — hdfs: // localhost: порт / путь / к / таблице

    • Amazon S3 — s3: // имя корзины / таблица

    • локальная файловая система — файл: /// путь / к / таблице

    • Openstack Swift — swift: // имя корзины / таблица

Внешнее ключевое слово — используется для создания внешней таблицы. Это помогает создать таблицу в указанном месте.

Образец относится к имени таблицы.

Местоположение — это каталог для HDFS, Amazon S3, HBase или локальной файловой системы. Чтобы назначить свойство местоположения для каталогов, используйте приведенные ниже примеры URI —

HDFS — hdfs: // localhost: порт / путь / к / таблице

Amazon S3 — s3: // имя корзины / таблица

локальная файловая система — файл: /// путь / к / таблице

Openstack Swift — swift: // имя корзины / таблица

Свойства таблицы

Внешняя таблица имеет следующие свойства —

  • TimeZone — пользователи могут указать часовой пояс для чтения или записи таблицы.

  • Формат сжатия — используется для уменьшения размера данных. Например, текстовый / json-файл использует свойство compress.codec .

TimeZone — пользователи могут указать часовой пояс для чтения или записи таблицы.

Формат сжатия — используется для уменьшения размера данных. Например, текстовый / json-файл использует свойство compress.codec .

Внутренняя таблица

Внутренняя таблица также называется управляемой таблицей . Он создается в заранее определенном физическом месте, называемом табличным пространством.

Синтаксис 

create table table1(col1 int,col2 text);

По умолчанию Tajo использует «tajo.warehouse.directory», расположенный в «conf / tajo-site.xml». Чтобы назначить новое местоположение для таблицы, вы можете использовать конфигурацию табличного пространства.

Табличное

Табличное пространство используется для определения местоположений в системе хранения. Поддерживается только для внутренних таблиц. Вы можете получить доступ к табличным пространствам по их именам. Каждое табличное пространство может использовать другой тип хранения. Если вы не укажете табличные пространства, Tajo использует табличное пространство по умолчанию в корневом каталоге.

Конфигурация табличного пространства

У вас есть «conf / tajo-site.xml.template» в Тахо. Скопируйте файл и переименуйте его в «storagesite.json» . Этот файл будет действовать как конфигурация для табличных пространств. Форматы данных Tajo используют следующую конфигурацию —

Конфигурация HDFS 

$ vi conf/storage-site.json { 
   "spaces": {  
      "${tablespace_name}": {  
         "uri": “hdfs://localhost:9000/path/to/Tajo"  
      } 
   } 
}

Конфигурация HBase 

$ vi conf/storage-site.json { 
   "spaces": {  
      "${tablespace_name}": {  
         "uri": “hbase:zk://quorum1:port,quorum2:port/"  
      } 
   } 
}

Конфигурация текстового файла 

$ vi conf/storage-site.json { 
   "spaces": {  
      "${tablespace_name}": {  
         “uri”: “hdfs://localhost:9000/path/to/Tajo” 
      } 
   } 
}

Создание табличного пространства

Доступ к записям внутренней таблицы Tajo возможен только из другой таблицы. Вы можете настроить его с табличным пространством.

Синтаксис 

CREATE TABLE [IF NOT EXISTS] <table_name> [(column_list)] [TABLESPACE tablespace_name] 
[using <storage_type> [with (<key> = <value>, ...)]] [AS <select_statement>]

Вот,

  • ЕСЛИ НЕ СУЩЕСТВУЕТ — Это позволяет избежать ошибки, если эта же таблица еще не была создана.

  • TABLESPACE — это предложение используется для назначения имени табличного пространства.

  • Тип хранения — данные Tajo поддерживают такие форматы, как текст, JSON, HBase, Parquet, Sequencefile и ORC.

  • Оператор выбора AS — выберите записи из другой таблицы.

ЕСЛИ НЕ СУЩЕСТВУЕТ — Это позволяет избежать ошибки, если эта же таблица еще не была создана.

TABLESPACE — это предложение используется для назначения имени табличного пространства.

Тип хранения — данные Tajo поддерживают такие форматы, как текст, JSON, HBase, Parquet, Sequencefile и ORC.

Оператор выбора AS — выберите записи из другой таблицы.

Настроить табличное пространство

Запустите сервисы Hadoop и откройте файл «conf / storage-site.json» , затем добавьте следующие изменения: 

$ vi conf/storage-site.json { 
   "spaces": {  
      “space1”: {  
         "uri": “hdfs://localhost:9000/path/to/Tajo" 
      } 
   } 
}

Здесь Tajo будет ссылаться на данные из расположения HDFS, а space1 — это имя табличного пространства. Если вы не запускаете сервисы Hadoop, вы не можете зарегистрировать табличное пространство.

запрос 

default> create table table1(num1 int,num2 text,num3 float) tablespace space1;

Приведенный выше запрос создает таблицу с именем «table1», а «space1» относится к имени табличного пространства.

Форматы данных

Тахо поддерживает форматы данных. Давайте подробно рассмотрим каждый из форматов.

Текст

Простой текстовый файл значений, разделенных символами, представляет собой набор табличных данных, состоящий из строк и столбцов. Каждая строка представляет собой текстовую строку.

Создание таблицы 

default> create external table customer(id int,name text,address text,age int) 
   using text with('text.delimiter'=',') location ‘file:/Users/workspace/Tajo/customers.csv’;

Здесь файл customer.csv относится к файлу значений, разделенных запятыми, который находится в каталоге установки Tajo.

Чтобы создать внутреннюю таблицу в текстовом формате, используйте следующий запрос — 

default> create table customer(id int,name text,address text,age int) using text;

В приведенном выше запросе вы не назначили никакого табличного пространства, поэтому оно займет табличное пространство Tajo по умолчанию.

свойства

Формат текстового файла имеет следующие свойства —

  • text.delimiter — это символ-разделитель. По умолчанию ‘|’.

  • сжатие.кодек — это формат сжатия. По умолчанию он отключен. Вы можете изменить настройки, используя указанный алгоритм.

  • часовой пояс — таблица, используемая для чтения или записи.

  • text.error-толерантность.max-num — максимальное количество уровней допуска.

  • text.skip.headerlines — Количество строк заголовка на пропущенный.

  • text.serde — это свойство сериализации.

text.delimiter — это символ-разделитель. По умолчанию ‘|’.

сжатие.кодек — это формат сжатия. По умолчанию он отключен. Вы можете изменить настройки, используя указанный алгоритм.

часовой пояс — таблица, используемая для чтения или записи.

text.error-толерантность.max-num — максимальное количество уровней допуска.

text.skip.headerlines — Количество строк заголовка на пропущенный.

text.serde — это свойство сериализации.

JSON

Apache Tajo поддерживает формат JSON для запроса данных. Тахо рассматривает объект JSON как запись SQL. Один объект равен одной строке в таблице Tajo. Давайте рассмотрим «массив.json» следующим образом: 

$ hdfs dfs -cat /json/array.json { 
   "num1" : 10, 
   "num2" : "simple json array", 
   "num3" : 50.5 
}

После создания этого файла переключитесь на оболочку Tajo и введите следующий запрос, чтобы создать таблицу в формате JSON.

запрос 

default> create external table sample (num1 int,num2 text,num3 float) 
   using json location ‘json/array.json’;

Всегда помните, что данные файла должны соответствовать схеме таблицы. В противном случае вы можете опустить имена столбцов и использовать *, который не требует списка столбцов.

Чтобы создать внутреннюю таблицу, используйте следующий запрос — 

default> create table sample (num1 int,num2 text,num3 float) using json;

Паркет

Паркет — это столбчатый формат хранения. Tajo использует формат Parquet для легкого, быстрого и эффективного доступа.

Создание таблицы

Следующий запрос является примером для создания таблицы — 

CREATE TABLE parquet (num1 int,num2 text,num3 float) USING PARQUET;

Формат файла паркета имеет следующие свойства —

  • parquet.block.size — размер группы строк, которая буферизуется в памяти.

  • parquet.page.size — размер страницы для сжатия.

  • parquet.compression — алгоритм сжатия, используемый для сжатия страниц.

  • parquet.enable.dictionary — логическое значение для включения / выключения кодирования словаря.

parquet.block.size — размер группы строк, которая буферизуется в памяти.

parquet.page.size — размер страницы для сжатия.

parquet.compression — алгоритм сжатия, используемый для сжатия страниц.

parquet.enable.dictionary — логическое значение для включения / выключения кодирования словаря.

файл_конфигурации

RCFile — это файл записи столбца. Он состоит из двоичных пар ключ / значение.

Создание таблицы

Следующий запрос является примером для создания таблицы — 

CREATE TABLE Record(num1 int,num2 text,num3 float) USING RCFILE;

RCFile имеет следующие свойства —

  • rcfile.serde — пользовательский класс десериализатора.

  • сжатие.кодек — алгоритм сжатия.

  • rcfile.null — NULL символ.

rcfile.serde — пользовательский класс десериализатора.

сжатие.кодек — алгоритм сжатия.

rcfile.null — NULL символ.

SequenceFile

SequenceFile — это основной формат файла в Hadoop, который состоит из пар ключ / значение.

Создание таблицы

Следующий запрос является примером для создания таблицы — 

CREATE TABLE seq(num1 int,num2 text,num3 float) USING sequencefile;

Этот файл последовательности имеет совместимость с Hive. Это может быть написано в Улей, как, 

CREATE TABLE table1 (id int, name string, score float, type string) 
STORED AS sequencefile;

ORC

ORC (Оптимизированный столбец строк) — это формат хранения столбцов из Hive.

Создание таблицы

Следующий запрос является примером для создания таблицы — 

CREATE TABLE optimized(num1 int,num2 text,num3 float) USING ORC;

Формат ORC имеет следующие свойства —

orc.max.merge.distance — файл ORC читается, он сливается при уменьшении расстояния.

orc.stripe.size — это размер каждой полосы.

orc.buffer.size — по умолчанию 256 КБ.

orc.rowindex.stride — это шаг индекса ORC по количеству строк.

22
Share: