В «$ HADOOP_HOME / bin / hadoop fs» есть намного больше команд, чем показано здесь, хотя эти основные операции помогут вам начать работу. При запуске ./bin/hadoop dfs без дополнительных аргументов будут перечислены все команды, которые можно запустить с системой FsShell. Кроме того, $ HADOOP_HOME / bin / hadoop fs -help commandName покажет краткую сводку об использовании рассматриваемой операции, если вы застряли.
Таблица всех операций показана ниже. Следующие соглашения используются для параметров —
"<path>" means any file or directory name. "<path>..." means one or more file or directory names. "<file>" means any filename. "<src>" and "<dest>" are path names in a directed operation. "<localSrc>" and "<localDest>" are paths as above, but on the local file system.
Все остальные файлы и пути к ним относятся к объектам внутри HDFS.
-ls <путь>
Содержит список содержимого каталога, указанного путем, с указанием имен, разрешений, владельца, размера и даты изменения для каждой записи.
-lsr <путь>
Ведет себя как -ls, но рекурсивно отображает записи во всех подкаталогах пути.
-du <путь>
Показывает использование диска в байтах для всех файлов, которые соответствуют пути; имена файлов сообщаются с полным префиксом протокола HDFS.
-dus <путь>
Аналогично -du, но выводит сводную информацию об использовании диска всеми файлами / каталогами в пути.
-mv <src> <dest>
Перемещает файл или каталог, указанный src, в dest в пределах HDFS.
-cp <src> <dest>
Копирует файл или каталог, указанный src в dest, в HDFS.
-rm <путь>
Удаляет файл или пустой каталог, указанный по пути.
-rmr <путь>
Удаляет файл или каталог, указанный по пути. Рекурсивно удаляет любые дочерние записи (например, файлы или подкаталоги пути).
-put <localSrc> <dest>
Копирует файл или каталог из локальной файловой системы, идентифицированной localSrc, в dest в DFS.
-copyFromLocal <localSrc> <dest>
Идентичный для
-moveFromLocal <localSrc> <dest>
Копирует файл или каталог из локальной файловой системы, идентифицированной localSrc, в dest в HDFS, а затем удаляет локальную копию в случае успеха.
-get [-crc] <src> <localDest>
Копирует файл или каталог в HDFS, идентифицированный src, в путь локальной файловой системы, идентифицированный localDest.
-getmerge <src> <localDest>
Извлекает все файлы, которые соответствуют пути src в HDFS, и копирует их в один объединенный файл в локальной файловой системе, идентифицируемый localDest.
-cat <filen-ame>
Отображает содержимое имени файла на стандартный вывод.
-copyToLocal <src> <localDest>
Идентичен для получения
-moveToLocal <src> <localDest>
Работает как -get, но удаляет копию HDFS в случае успеха.
-mkdir <путь>
Создает каталог с именем path в HDFS.
Создает любые родительские каталоги в пути, которые отсутствуют (например, mkdir -p в Linux).
-setrep [-R] [-w] rep <путь>
Устанавливает целевой коэффициент репликации для файлов, идентифицированных путем к rep. (Фактический коэффициент репликации будет двигаться к цели с течением времени)
-touchz <путь>
Создает файл по пути, содержащий текущее время как метку времени. Сбой, если файл уже существует по пути, если размер файла уже не равен 0.
-test — [ezd] <путь>
Возвращает 1, если путь существует; имеет нулевую длину; или является каталогом или 0 в противном случае.
-stat [формат] <путь>
Печатает информацию о пути. Формат — это строка, которая принимает размер файла в блоках (% b), имя файла (% n), размер блока (% o), репликацию (% r) и дату изменения (% y,% Y).
-tail [-f] <имя файла2>
Показывает последний 1 КБ файла на стандартный вывод.
-chmod [-R] mode, mode, … <путь> …
Изменяет права доступа к файлу, связанные с одним или несколькими объектами, идентифицированными путем …. Выполняет изменения рекурсивно с R. Режим представляет собой восьмеричный режим из 3 цифр, или {augo} +/- {rwxX}. Предполагается, что область действия не указана, и не применяется umask.
-chown [-R] [владелец] [: [группа]] <путь> …
Устанавливает пользователя и / или группу-владельца для файлов или каталогов, идентифицированных путем …. Рекурсивно устанавливает владельца, если указан -R.
-chgrp [-R] группа <путь> …
Устанавливает группу-владельца для файлов или каталогов, идентифицированных путем …. Устанавливает группу рекурсивно, если указан -R.
-help <cmd-name>
Возвращает информацию об использовании для одной из команд, перечисленных выше. Вы должны опустить ведущий символ ‘-‘ в cmd.