В этой главе описывается администрирование Hadoop, которое включает администрирование HDFS и MapReduce.
-
Администрирование HDFS включает в себя мониторинг файловой структуры HDFS, расположения и обновленных файлов.
-
Администрирование MapReduce включает мониторинг списка приложений, конфигурации узлов, состояния приложений и т. Д.
Администрирование HDFS включает в себя мониторинг файловой структуры HDFS, расположения и обновленных файлов.
Администрирование MapReduce включает мониторинг списка приложений, конфигурации узлов, состояния приложений и т. Д.
HDFS мониторинг
HDFS (распределенная файловая система Hadoop) содержит пользовательские каталоги, входные и выходные файлы. Используйте команды MapReduce, put и get, для хранения и извлечения.
После запуска инфраструктуры Hadoop (демонов), передав команду «start-all.sh» в «/ $ HADOOP_HOME / sbin», передайте следующий URL-адрес в браузер «http: // localhost: 50070». Вы должны увидеть следующий экран в вашем браузере.
На следующем снимке экрана показано, как просматривать HDFS.
На следующем снимке экрана показана файловая структура HDFS. Он показывает файлы в каталоге «/ user / hadoop».
На следующем снимке экрана показана информация Datanode в кластере. Здесь вы можете найти один узел с его конфигурациями и возможностями.
MapReduce Job Monitoring
Приложение MapReduce представляет собой набор заданий (задание Map, Combiner, Partitioner и Reduce job). Обязательно следить и поддерживать следующее —
- Конфигурация датододы, где приложение подходит.
- Количество датододов и ресурсов, используемых в приложении.
Чтобы контролировать все эти вещи, обязательно, чтобы у нас был пользовательский интерфейс. После запуска инфраструктуры Hadoop, передав команду «start-all.sh» в «/ $ HADOOP_HOME / sbin», передайте следующий URL-адрес в браузер «http: // localhost: 8080». Вы должны увидеть следующий экран в вашем браузере.
На приведенном выше снимке экрана указатель руки находится на идентификаторе приложения. Просто нажмите на него, чтобы найти следующий экран в вашем браузере. Это описывает следующее —
-
На каком пользователе запущено текущее приложение
-
Название приложения
-
Тип этого приложения
-
Текущий статус, Финальный статус
-
Время запуска приложения, прошедшее (завершенное время), если оно завершено во время мониторинга
-
История этого приложения, т.е. информация журнала
-
И, наконец, информация об узлах, т. Е. Об узлах, которые участвовали в запуске приложения.
На каком пользователе запущено текущее приложение
Название приложения
Тип этого приложения
Текущий статус, Финальный статус
Время запуска приложения, прошедшее (завершенное время), если оно завершено во время мониторинга
История этого приложения, т.е. информация журнала
И, наконец, информация об узлах, т. Е. Об узлах, которые участвовали в запуске приложения.
На следующем снимке экрана показаны детали конкретного приложения.
На следующем снимке экрана показана информация о запущенных узлах. Здесь скриншот содержит только один узел. Указатель руки показывает адрес локального хоста работающего узла.