HDFS для пакетного слоя

Натан Марц и Джеймс Уоррен, авторы  Big Data: принципы и лучшие практики масштабируемых систем данных реального времени

Требования высокого уровня для хранения данных в пакетном уровне Lambda Architecture просты. Фактически вы можете сопоставить эти требования с необходимым контрольным списком для решения по хранению. В этой статье авторы больших данных Натан Марц и Джеймс Уоррен проведут вас через решение для хранения на уровне пакетов, основанное на распределенной файловой системе Hadoop (HDFS), и объяснят, как оно соответствует их контрольному списку требований.

После того, как вы научитесь проектировать модель данных для основного набора данных, следующим шагом будет изучение того, как физически сохранить основной набор данных в пакетном слое, чтобы его можно было легко и эффективно обрабатывать. Основной набор данных, как правило, слишком велик, чтобы существовать на одном сервере, поэтому вы должны решить, как распределить данные по нескольким компьютерам. То, как вы храните свой основной набор данных, будет влиять на то, как вы его потребляете, поэтому очень важно разработать стратегию хранения с учетом ваших моделей использования.

В этой статье вы узнаете, как хранить основной набор данных с помощью распределенной файловой системы Hadoop (HDFS). Мы начнем со вступительного взгляда на HDFS и завершим контрольным списком, который суммирует, как HDFS отвечает требованиям к хранилищу пакетного уровня.

Представляем HDFS

HDFS и Hadoop MapReduce — это две составляющие проекта Hadoop: инфраструктура Java для распределенного хранения и распределенной обработки больших объемов данных. Hadoop развернут на нескольких серверах, обычно называемых кластером, а HDFS — это распределенная и масштабируемая файловая система, которая управляет хранением данных в кластере. Hadoop — это проект большого размера и глубины, и в этой статье мы дадим только общее описание.

Кластер Hadoop имеет два типа узлов HDFS:

• Несколько датододов
• Единственный наменоде

Когда вы загружаете файл в HDFS, он проходит процесс, показанный на рисунке 1.

Рисунок 1 Файлы разбиты на блоки, которые рассредоточены по узлам данных в кластере.

Файл сначала разбивается на части (# 1) на блоки фиксированного размера, обычно от 64 МБ до 256 МБ. Каждый блок затем реплицируется по нескольким (обычно трем) датодам, которые выбираются случайным образом (# 2). Namenode (# 3) отслеживает отображение файла на блок и местоположение каждого блока.

Распределение файла по множеству узлов позволяет легко обрабатывать его параллельно, как показано на рисунке 2.

Рисунок 2 Namenode предоставляет клиентскому приложению расположение блоков распределенного файла, хранящегося в HDFS.

Когда программе требуется доступ к файлу, хранящемуся в HDFS, она связывается с namenode (# 1), чтобы определить, какие датододы содержат содержимое файла. Затем программа обращается к файлу (# 2) для обработки. При репликации каждого блока на несколько узлов ваши данные остаются доступными, даже когда отдельные узлы находятся в автономном режиме.

Начало работы с Hadoop

Настройка Hadoop может быть трудной задачей. Hadoop имеет множество параметров конфигурации, которые должны быть настроены для оптимальной работы вашего оборудования. Чтобы не зацикливаться на деталях, мы рекомендуем загрузить предварительно настроенную виртуальную машину для вашего первого знакомства с Hadoop. Виртуальная машина ускоряет изучение HDFS и MapReduce, и вы лучше разберетесь в настройке своего кластера. На момент написания этой статьи поставщики Hadoop Cloudera, Hortonworks и MapR сделали изображения общедоступными.

Реализация распределенной файловой системы является сложной задачей; эта статья охватывает основы с точки зрения пользователя. Давайте теперь рассмотрим, как хранить основной набор данных с использованием HDFS.

Хранение основного набора данных с HDFS

Как файловая система, HDFS предлагает поддержку файлов и каталогов, что упрощает хранение основного набора данных в HDFS. Единицы данных хранятся последовательно в файлах, каждый файл содержит мегабайты или гигабайты данных. Все файлы набора данных затем хранятся вместе в общей папке в HDFS.

Чтобы добавить новые данные в набор данных, вы создаете и загружаете другой файл, содержащий новую информацию. Например, предположим, что вы хотите сохранить все логины на сервере. Ниже приведены примеры логинов:

$ cat logins-2012-10-25.txt 
alex     192.168.12.125    Thu Oct 25 22:33 - 22:46 (00:12) 
bob      192.168.8.251     Thu Oct 25 21:04 - 21:28 (00:24) 
charlie  192.168.12.82     Thu Oct 25 21:02 - 23:14 (02:12) 
doug     192.168.8.13      Thu Oct 25 20:30 - 21:03 (00:33) 
... 

Чтобы сохранить эти данные в HDFS, вы создаете каталог для набора данных и загружаете файл логинов (logins-2012-10-25.txt):

$ hadoop fs -mkdir /logins 
$ hadoop fs -put logins-2012-10-25.txt /logins