Как настроить многоузловой кластер Hadoop на Amazon EC2, часть 2

1.5 Настройка SSH без пароля на серверах

Удаленный SSH

Давайте проверим, что мы можем подключиться к SNN и подчиненным узлам от мастера

1.6 Настройка кластера Hadoop

В этом разделе описывается конфигурация кластера hadoop. Мы должны будем изменить

• hadoop-env.sh — Этот файл содержит некоторые настройки переменных среды, используемые Hadoop. Вы можете использовать их, чтобы повлиять на некоторые аспекты поведения демона Hadoop, такие как, где хранятся файлы журнала, максимальный объем используемой кучи и т. Д. Единственная переменная, которую вам нужно изменить на этом этапе, находится в этом файле — JAVA_HOME, который определяет путь к установке Java 1.7.x, используемой Hadoop.
• core-site.xml — ключевое свойство fs.default.name — для настройки namenode, например, hdfs: // namenode/
• hdfs-site.xml — свойство ключа — dfs.replication — по умолчанию 3
• mapred-site.xml  — ключевое свойство mapred.job.tracker для конфигурации Jobtracker, например  jobtracker: 8021

Сначала мы начнем с master (NameNode), а затем скопируем указанные выше изменения xml в оставшиеся 3 узла (SNN и slave).

Наконец, в разделе 1.6.2 нам нужно будет настроить conf / master и conf / slaves.

• masters — определяет, на каких машинах Hadoop будет запускать вторичные NameNodes в нашем многоузловом кластере.
• slaves — определяет списки хостов, по одному на строку, где будут запускаться подчиненные демоны Hadoop (датододы и треккеры).

Давайте пройдемся по одному. Начните с мастеров (наменоде).

hadoop-env.sh

$ vi $ HADOOP_CONF / hadoop-env.sh и добавьте JAVA_HOME, показанный ниже, и сохраните изменения.

ядро-site.xml

Этот файл содержит параметры конфигурации для Hadoop Core (например, для ввода-вывода), общие для HDFS, и свойство конфигурации файловой системы MapReduce Default. Fs.default.name указывается здесь, например, для hdfs / s3, который будет использоваться клиентами.

$ sudo $ HADOOP_CONF / core-site.xml

Мы собираемся добавить два свойства

• fs.default.name будет указывать на URL-адрес и порт NameNode (обычно 8020)
• hadoop.tmp.dir — База для других временных каталогов. Важно отметить, что каждому узлу нужен каталог hadoop tmp. Я собираюсь создать новый каталог «hdfstmp», как показано ниже, во всех 4 узлах. В идеале вы можете написать сценарий оболочки, чтобы сделать это для вас, но пока идем ручным способом.

$ cd

$ mkdir hdfstmp

Совет:  некоторые важные каталоги: dfs.name.dir, dfs.data.dir в hdfs-site.xml. Значение по умолчанию для  dfs.name.dir is  ${hadoop.tmp.dir}/dfs/data и  dfs.data.dir is ${hadoop.tmp.dir}/dfs/data. Крайне  важно,  чтобы вы правильно выбрали местоположение каталога в производственной среде.

<configuration>

<property>
<name>fs.default.name</name>
<value>hdfs://ec2-54-209-221-112.compute-1.amazonaws.com:8020</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/ubuntu/hdfstmp</value>
</property>

</configuration>

HDFS-site.xml

Этот файл содержит конфигурацию для демонов HDFS, NameNode, SecondaryNameNode и узлов данных.

Мы собираемся добавить 2 свойства

• dfs.permissions.enabled  со значением false. Это означает, что любой пользователь, а не только пользователь «hdfs», может делать с HDFS все, что он хочет, поэтому не делайте этого в рабочей среде, если у вас нет веских причин. если «true», включите проверку разрешений в HDFS. Если «false», проверка прав доступа отключена, но все остальное поведение не изменяется. Переключение с одного значения параметра на другое не меняет режим, владельца или группу файлов или каталогов. Будьте очень осторожны, прежде чем установить это
• dfs.replication   — по умолчанию для блока репликации задано 3. Фактическое количество репликаций может быть указано при создании файла. По умолчанию используется, если репликация не указана во время создания. Поскольку у нас есть 2 подчиненных узла, мы установим это значение на 2.

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

mapred-site.xml

Этот файл содержит параметры конфигурации для демонов MapReduce; трекер работы и трекеры задач.
Параметр mapred.job.tracker — это имя хоста (или IP-адрес) и пара портов, по которым Job Tracker прослушивает соединение RPC. Этот параметр указывает местоположение отслеживания заданий для клиентов отслеживания заданий и MapReduce.

JobTracker будет работать на главном сервере (NameNode)

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://ec2-54-209-221-112.compute-1.amazonaws.com:8021</value>
</property>
</configuration>

1.6.1 Переместить файлы конфигурации в подчиненные

Теперь мы закончили с мастером настройки файлов hadoop xml, давайте скопируем файлы на оставшиеся 3 узла, используя безопасное копирование (scp)

начните с SNN, если вы начинаете новый сеанс, следуйте ssh-add согласно разделу 1.5

из командной строки unix выпуска мастера под командой

$ scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml ubuntu@ec2-54-209-221-47.compute-1.amazonaws.com: / home / ubuntu / hadoop / conf

повторите это для подчиненных узлов

1.6.2 Настройка главного и подчиненного

Каждый дистрибутив hadoop поставляется с основными и подчиненными файлами. По умолчанию он содержит одну запись для localhost, мы должны изменить эти 2 файла на машинах «master» (HadoopNameNode) и «slave» (HadoopSlave1 и HadoopSlave2) — у нас есть выделенный компьютер для HadoopSecondaryNamdeNode.

1.6.3 Изменение файла мастера на главной машине

conf/masters Файл определяет, на каких машинах Hadoop запускает вторичные NameNodes  в нашем многоузловом кластере. В нашем случае будет две машины HadoopNameNode и HadoopSecondaryNameNode

Руководство пользователя Hadoop HDFS  : «Вторичный NameNode периодически объединяет файлы fsimage и файлы редактирования и сохраняет размер журнала изменений в пределах лимита. Обычно он запускается на другом компьютере, чем основной NameNode, поскольку его требования к памяти находятся в том же порядке, что и основной NameNode. Вторичный NameNode запускается с помощью «bin / start-dfs.sh» на узлах, указанных в файле «conf / masters». «

$ vi $ HADOOP_CONF / masters и укажите запись для хост-имени, где вы хотите запустить демон SecondaryNameNode. В нашем случае HadoopNameNode и HadoopSecondaryNameNode

1.6.4 Изменить файл ведомых на главном компьютере

Файл slaves используется для запуска DataNodes и TaskTrackers

$ vi $ HADOOP_CONF / slaves

1.6.5 Копирование мастеров и подчиненных в SecondaryNameNode

Поскольку конфигурация SecondayNameNode будет такой же, как и NameNode, нам нужно скопировать master и slave в HadoopSecondaryNameNode.

1.6.7 Настройка главного и подчиненного на узле «Ведомые»

Поскольку мы настраиваем подчиненные (HadoopSlave1 и HadoopSlave2), файл master на подчиненном компьютере будет пустым

$ vi $ HADOOP_CONF / мастера

Затем обновите файл «ведомые» на подчиненном сервере (HadoopSlave1), указав IP-адрес подчиненного узла. Обратите внимание, что файл «ведомых» на подчиненном узле содержит только собственный IP-адрес, а не любой другой узел данных в кластере.

$ vi $ HADOOP_CONF / slaves

Аналогичным образом обновите мастеров и рабов для HadoopSlave2

1.7 Запуск Hadoop Daemon

Первым шагом к запуску установки Hadoop является форматирование файловой системы Hadoop, которая работает поверх вашей, которая реализована поверх локальной файловой системы вашего кластера. Это необходимо сделать при первой установке Hadoop. Не форматируйте работающую файловую систему Hadoop, это приведет к удалению всех ваших данных.

Форматировать наменоде

$ hadoop namenode format

Позволяет запустить все демоны hadoop из HadoopNameNode

$ cd $ HADOOP_CONF

$ start-all.sh

Это начнется

• Демоны NameNode, JobTracker и SecondaryNameNode в HadoopNameNode

• Демоны SecondaryNameNode в HadoopSecondaryNameNode

• и демоны DataNode и TaskTracker на подчиненных узлах HadoopSlave1 и HadoopSlave2

Мы можем проверить статус namenode с http: // ec2-54-209-221-112.compute-1.amazonaws.com : 50070 / dfshealth.jsp

Проверьте статус Jobtracker: http: // ec2-54-209-221-112.compute-1.amazonaws.com : 50030 / jobtracker.jsp

Состояние подчиненного узла для HadoopSlave1: http: // ec2-54-209-223-7.compute-1.amazonaws.com : 50060 / tasktracker.jsp

Чтобы быстро проверить наши настройки, запустите пример hadoop pi

ubuntu @ ec2-54-209-221-112: ~ / hadoop $ hadoop jar hadoop-examples-1.2.1.jar pi 10 1000000