4) Изучить HDFS

Что такое HDFS?

• Что такое HDFS?
• Архитектура HDFS
• Операция чтения
• Операция записи
• Доступ к HDFS с использованием JAVA API
• Доступ к HDFS с помощью COMMAND-LINE INTERFACE

Архитектура HDFS

Операция чтения в HDFS

1. Клиент инициирует запрос на чтение, вызывая   метод open () объекта FileSystem; это объект типа  DistributedFileSystem .
2. Этот объект подключается к namenode с помощью RPC и получает информацию метаданных, такую ​​как расположение блоков файла. Обратите внимание, что эти адреса являются первыми несколькими блоками файла.
3. В ответ на этот запрос метаданных адреса узлов данных, имеющих копию этого блока, возвращаются обратно.
4. После получения адресов узлов данных объект типа  FSDataInputStream  возвращается клиенту. FSDataInputStream  содержит  DFSInputStream,  который заботится о взаимодействиях с DataNode и NameNode. На шаге 4, показанном на приведенной выше схеме, клиент вызывает   метод read (), который заставляет  DFSInputStream  установить соединение с первым DataNode с первым блоком файла.
5. Данные считываются в виде потоков, в которых клиент  повторно вызывает  метод read () . Этот процесс   операции read () продолжается до достижения конца блока.
6. Как только достигнут конец блока, DFSInputStream закрывает соединение и переходит к поиску следующего DataNode для следующего блока
7. Как только клиент завершил чтение, он вызывает   метод close () .

Операция записи в HDFS

1. Клиент инициирует операцию записи, вызывая метод create () объекта DistributedFileSystem, который создает новый файл — Шаг №. 1 на рисунке выше.
2. Объект DistributedFileSystem подключается к NameNode с помощью вызова RPC и инициирует создание нового файла. Однако этот файл создает операцию, не связывая никакие блоки с файлом. NameNode отвечает за проверку того, что файл (который создается) еще не существует, и клиент имеет правильные разрешения для создания нового файла. Если файл уже существует или у клиента недостаточно прав для создания нового файла, то  IOException выдается  клиенту. В противном случае операция завершается успешно, и NameNode создает новую запись для файла.
3. Как только новая запись в NameNode создана, объект типа FSDataOutputStream возвращается клиенту. Клиент использует его для записи данных в HDFS. Метод записи данных вызывается (шаг 3 на диаграмме).
4. FSDataOutputStream содержит объект DFSOutputStream, который следит за связью с DataNodes и NameNode. Пока клиент продолжает запись данных,  DFSOutputStream  продолжает создавать пакеты с этими данными. Эти пакеты помещаются в очередь, которая называется  DataQueue .
5. Есть еще один компонент, называемый  DataStreamer,  который использует этот  DataQueue . DataStreamer также запрашивает NameNode о выделении новых блоков, тем самым выбирая желаемые узлы DataNode, которые будут использоваться для репликации.
6. Теперь процесс репликации начинается с создания конвейера с использованием узлов данных. В нашем случае мы выбрали уровень репликации 3, и поэтому в конвейере есть 3 узла данных.
7. DataStreamer помещает пакеты в первый DataNode в конвейере.
8. Каждый DataNode в конвейере хранит полученный им пакет и перенаправляет его во второй DataNode в конвейере.
9. Другая очередь, «Очередь подтверждения», поддерживается DFSOutputStream для хранения пакетов, ожидающих подтверждения от узлов данных.
10. Как только подтверждение для пакета в очереди получено от всех узлов данных в конвейере, оно удаляется из «очереди подтверждения». В случае любого сбоя DataNode пакеты из этой очереди используются для повторного запуска операции.
11. После того как клиент завершил запись данных, он вызывает метод close () (шаг 9 на диаграмме). Вызов close () приводит к сбросу оставшихся пакетов данных в конвейер с последующим ожиданием подтверждения.
12. Как только окончательное подтверждение получено, связывается с NameNode, чтобы сообщить ему, что операция записи в файл завершена.

Доступ к HDFS с использованием JAVA API

В этом разделе мы попытаемся понять интерфейс Java, используемый для доступа к файловой системе Hadoop.

Для программного взаимодействия с файловой системой Hadoop Hadoop предоставляет несколько классов JAVA. Пакет с именем org.apache.hadoop.fs содержит классы, полезные для манипулирования файлом в файловой системе Hadoop. Эти операции включают, открывать, читать, писать и закрывать. На самом деле, файловый API для Hadoop является общим и может быть расширен для взаимодействия с другими файловыми системами, кроме HDFS.

Чтение файла из HDFS, программно

public class URLCat {
    static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void main(String[] args) throws Exception {
        InputStream in = null;
        try {
            in = new URL(args[0]).openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
    }
}

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal temp.txt /

$HADOOP_HOME/bin/hdfs dfs -ls /

$HADOOP_HOME/bin/hdfs dfs -copyToLocal /temp.txt

$HADOOP_HOME/bin/hdfs dfs -mkdir /mydirectory