Учебники

Hadoop – Справочник по командам

В “$ HADOOP_HOME / bin / hadoop fs” есть намного больше команд, чем показано здесь, хотя эти основные операции помогут вам начать работу. При запуске ./bin/hadoop dfs без дополнительных аргументов будут перечислены все команды, которые можно запустить с системой FsShell. Кроме того, $ HADOOP_HOME / bin / hadoop fs -help commandName покажет краткую сводку об использовании рассматриваемой операции, если вы застряли.

Таблица всех операций показана ниже. Следующие соглашения используются для параметров –

"<path>" means any file or directory name. 
"<path>..." means one or more file or directory names. 
"<file>" means any filename. 
"<src>" and "<dest>" are path names in a directed operation. 
"<localSrc>" and "<localDest>" are paths as above, but on the local file system. 

Все остальные файлы и пути к ним относятся к объектам внутри HDFS.

-ls <путь>

Содержит список содержимого каталога, указанного путем, с указанием имен, разрешений, владельца, размера и даты изменения для каждой записи.

-lsr <путь>

Ведет себя как -ls, но рекурсивно отображает записи во всех подкаталогах пути.

-du <путь>

Показывает использование диска в байтах для всех файлов, которые соответствуют пути; имена файлов сообщаются с полным префиксом протокола HDFS.

-dus <путь>

Аналогично -du, но выводит сводную информацию об использовании диска всеми файлами / каталогами в пути.

-mv <src> <dest>

Перемещает файл или каталог, указанный src, в dest в пределах HDFS.

-cp <src> <dest>

Копирует файл или каталог, указанный src в dest, в HDFS.

-rm <путь>

Удаляет файл или пустой каталог, указанный по пути.

-rmr <путь>

Удаляет файл или каталог, указанный по пути. Рекурсивно удаляет любые дочерние записи (например, файлы или подкаталоги пути).

-put <localSrc> <dest>

Копирует файл или каталог из локальной файловой системы, идентифицированной localSrc, в dest в DFS.

-copyFromLocal <localSrc> <dest>

Идентичный для

-moveFromLocal <localSrc> <dest>

Копирует файл или каталог из локальной файловой системы, идентифицированной localSrc, в dest в HDFS, а затем удаляет локальную копию в случае успеха.

-get [-crc] <src> <localDest>

Копирует файл или каталог в HDFS, идентифицированный src, в путь локальной файловой системы, идентифицированный localDest.

-getmerge <src> <localDest>

Извлекает все файлы, которые соответствуют пути src в HDFS, и копирует их в один объединенный файл в локальной файловой системе, идентифицируемый localDest.

-cat <filen-ame>

Отображает содержимое имени файла на стандартный вывод.

-copyToLocal <src> <localDest>

Идентичен для получения

-moveToLocal <src> <localDest>

Работает как -get, но удаляет копию HDFS в случае успеха.

-mkdir <путь>

Создает каталог с именем path в HDFS.

Создает любые родительские каталоги в пути, которые отсутствуют (например, mkdir -p в Linux).

-setrep [-R] [-w] rep <путь>

Устанавливает целевой коэффициент репликации для файлов, идентифицированных путем к rep. (Фактический коэффициент репликации будет двигаться к цели с течением времени)

-touchz <путь>

Создает файл по пути, содержащий текущее время как метку времени. Сбой, если файл уже существует по пути, если размер файла уже не равен 0.

-test – [ezd] <путь>

Возвращает 1, если путь существует; имеет нулевую длину; или является каталогом или 0 в противном случае.

-stat [формат] <путь>

Печатает информацию о пути. Формат – это строка, которая принимает размер файла в блоках (% b), имя файла (% n), размер блока (% o), репликацию (% r) и дату изменения (% y,% Y).

-tail [-f] <имя файла2>

Показывает последний 1 КБ файла на стандартный вывод.

-chmod [-R] mode, mode, … <путь> …

Изменяет права доступа к файлу, связанные с одним или несколькими объектами, идентифицированными путем …. Выполняет изменения рекурсивно с R. Режим представляет собой восьмеричный режим из 3 цифр, или {augo} +/- {rwxX}. Предполагается, что область действия не указана, и не применяется umask.

-chown [-R] [владелец] [: [группа]] <путь> …

Устанавливает пользователя и / или группу-владельца для файлов или каталогов, идентифицированных путем …. Рекурсивно устанавливает владельца, если указан -R.

-chgrp [-R] группа <путь> …

Устанавливает группу-владельца для файлов или каталогов, идентифицированных путем …. Устанавливает группу рекурсивно, если указан -R.

-help <cmd-name>

Возвращает информацию об использовании для одной из команд, перечисленных выше. Вы должны опустить ведущий символ ‘-‘ в cmd.