Hadoop в My Azure: Hadoop для распространения Cloudera в Azure

Недавно я работал над уникальным проектом Hadoop, в котором мы развернули CDH (Cloudera Distribution for Hadoop) в Azure. Эта платформа предоставляет «Большие данные как услуга» ученым, работающим с данными крупной организации. Это развертывание редко осуществлялось где-либо прежде. Делясь некоторыми знаниями и личным опытом, приобретенным во время работы над проектом, цель этой статьи — дать вам общее представление о шагах, которые необходимо выполнить для установки CDH в Azure.

Справочный документ по развертыванию Azure доступен онлайн от Cloudera. Вы можете сослаться на это вместе с этим блогом.

Эталонная архитектура

Мы использовали машины CentOS 6.6 типа DS-14 для всех узлов в кластере. Также мы использовали выделенное хранилище премиум-класса для каждой машины в кластере. Причина использования хранилища премиум-класса заключается в том, что он обеспечивает высокие операции ввода-вывода в секунду (более 5000 операций ввода-вывода в секунду на диск) для различных заданий, связанных с наукой о данных. Одна из основных проблем хранения премиум-класса заключается в том, что мы не можем добавить их в резервное хранилище.

Дополнительные сведения о различных типах машин в Azure см. В  разделе Типы машин .

Для получения более подробной информации о хранилище Premium, пожалуйста, обратитесь к  разделу «Хранение Premium» .

Архитектура платформы выглядит следующим образом:

Предоставление машин

Самый первый шаг — настроить VPC (виртуальное частное облако) в Azure и настроить его на основе таких аспектов, как доступ к Интернету, подключение к другим доверенным сетям, доступ к другим службам Azure и т. Д.

После этого мы использовали командную строку Azure  для подготовки экземпляров. То же самое можно сделать через портал управления Azure. Чтобы подготовить компьютеры, создайте пару ключей SSH, с помощью которых мы могли бы войти в экземпляры.

Установите Azure CLI (из Mac Yosemite):

brew install node npm install -g azure-cli

Подключить аккаунт:

Загрузите сертификат с портала, войдя в систему:

azure account download azure account import

Установите правильный аккаунт:

azure account list

Там может быть больше, чем 1 аккаунт.

azure account set Account name

Определите переменные командной строки:

ШАГ 1. Создайте StorageAccount для каждого компьютера (через портал Azure):

export vmStorageAccountName=clouderaw1store export vmStaticIP=XX.XX.XX.XX export vmName=CLOUDERAW1

ШАГ 2: Создайте контейнер:

Find the Connection String in Azure Portal: Browse > Storage Account (classic) > clouderaw1store > Settings > Keys > Primary Connection String

azure storage container create --container "vhds"
--connection-string "paste-here-connection-string" vhds

azure vm create --vm-name ${vmName} --virtual-network-name NETWORK1 --blob-url Link to Blog URL --static-ip ${vmStaticIP} --userName clouderaadmin --ssh Specify Port Number --ssh-certkey.pub --no-ssh-password --vm-size Standard_DS14 --availability-set WORKER_AVS --connectcloudera-hadoop "5112500ae3b842c8b9c604889f8753c3__OpenLogic-CentOS-66-20150706"

azure vm disk attach-new --host-caching ReadOnly ${vmName} 512https://${vmStorageAccountName}.blob.core.windows.net/vhds/${vmName}-application.vhd

azure vm disk attach-new --host-caching ReadOnly ${vmName} 1023https://${vmStorageAccountName}.blob.core.windows.net/vhds/${vmName}-hadoop.vhd

azure vm disk attach-new --host-caching ReadOnly ${vmName} 1023https://${vmStorageAccountName}.blob.core.windows.net/vhds/${vmName}-hadoop1.vhd

azure vm disk attach-new --host-caching ReadOnly ${vmName} 1023https://${vmStorageAccountName}.blob.core.windows.net/vhds/${vmName}-hadoop2.vhd

ssh -i pathtoprivate_key clouderaadmin@{IP Address} -p {Port Number}

sudo yum install hdparm

hdparm -t /dev/sdc