Сначала необходимо отформатировать настроенную файловую систему HDFS, открыть namenode (сервер HDFS) и выполнить следующую команду.
$ hadoop namenode -format
После форматирования HDFS запустите распределенную файловую систему. Следующая команда запустит namenode, а также узлы данных как кластер.
$ start-dfs.sh
Перечисление файлов в HDFS
После загрузки информации на сервер, мы можем найти список файлов в каталоге, статус файла, используя ‘ls’ . Ниже приведен синтаксис ls, который вы можете передать в каталог или имя файла в качестве аргумента.
$ $HADOOP_HOME/bin/hadoop fs -ls <args>
Вставка данных в HDFS
Предположим, у нас есть данные в файле с именем file.txt в локальной системе, которые должны быть сохранены в файловой системе hdfs. Следуйте приведенным ниже инструкциям, чтобы вставить нужный файл в файловую систему Hadoop.
Шаг 1
Вы должны создать входной каталог.
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input
Шаг 2
Передайте и сохраните файл данных из локальных систем в файловую систему Hadoop с помощью команды put.
$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input
Шаг 3
Вы можете проверить файл с помощью команды ls.
$ $HADOOP_HOME/bin/hadoop fs -ls /user/input
Извлечение данных из HDFS
Предположим, у нас есть файл в HDFS с именем outfile . Ниже приведена простая демонстрация получения необходимого файла из файловой системы Hadoop.
Шаг 1
Сначала просмотрите данные из HDFS с помощью команды cat .
$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile
Шаг 2
Загрузите файл из HDFS в локальную файловую систему, используя команду get .
$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/
Выключение HDFS
Вы можете выключить HDFS с помощью следующей команды.