Развертывание защищенного кластера Mini MapR с Docker на одном экземпляре AWS

Вступление

Если вы хотите опробовать платформу конвергентных данных MapR, чтобы увидеть ее уникальные возможности для работы с большими данными, но у вас нет сразу доступного кластера аппаратного обеспечения, у вас еще есть несколько других вариантов. Например, вы можете раскрутить кластер MapR в облаке, используя несколько экземпляров узла на одном из наших партнеров IaaS ( Amazon , Azure и т. Д.). Единственным недостатком является то, что с несколькими экземплярами узлов затраты могут составлять больше, чем вы хотите потратить на экспериментальный кластер. У вас также есть возможность экспериментировать с использованием песочницы MapR . Ограничение, однако, состоит в том, что он не дает вам истинного многоузлового кластера, поэтому вы не можете полностью изучить такие функции, как многопользовательский режим, топологии и макеты служб.

В качестве другого варианта вы можете использовать технологию Docker с шаблоном AWS CloudFormation для раскрутки многоузлового кластера MapR в одном виртуальном экземпляре. Существуют варианты настройки небезопасного, защищенного кластера или кластера с поддержкой Kerberos («Kerberized»), поэтому вы можете изучить полный набор функций, предлагаемых платформой MapR. Контейнер службы LDAP настроен для обеспечения централизованного поиска каталогов в кластере, а контейнер службы KDC предоставляет токены для проверки подлинности кластера в кластере Kerberized. Кроме того, клиентский контейнер MapR используется для лучшего моделирования производственной среды. Клиенты также могут установить свое программное обеспечение в отдельных контейнерах рядом с кластером в том же экземпляре. Это очень экономичный способ раскрутить настоящий многоузловой кластер MapR в облаке.

Поскольку контейнеры являются одноразовыми, очень легко переустановить кластер, если вы хотите попробовать разные вещи, такие как PoC, демонстрация или учебная среда. Изображение ниже показывает, как может выглядеть развертывание:

Чтобы начать, в оставшейся части этого блога вы узнаете, как настроить мини-MapR кластер и запустить его на AWS менее чем за 30 минут.

Есть 4 основных этапа:

1. Раскрутите экземпляр AWS с помощью шаблона CloudFormation.
2. Войдите в экземпляр и выполните сценарий развертывания MapR.
3. Примените пробную лицензию (необязательно).
4. Начните исследовать кластер.

Раскрутите экземпляр AWS с помощью шаблона CloudFormation

1. Войдите на портал AWS . Если у вас нет учетной записи AWS, вам необходимо ее создать. Если он у вас уже есть, вы можете войти в консоль.
2. Переключитесь на один из этих регионов: Запад США (Орегон), Восток США (Вирджиния), Азиатско-Тихоокеанский регион (Токио), Азиатско-Тихоокеанский регион (Сидней), ЕС (Ирландия) или ЕС (Франкфурт).
3. Загрузите этот CFT здесь: https://raw.githubusercontent.com/jsunmapr/AWS-CFTs/master/520/MapR520-community-Docker.template.
4. Выберите «Шаблон CloudFormation» на своем портале AWS. Затем выберите «Создать стек» -> «Загрузить шаблон в AWS S3» -> «Обзор», выберите шаблон, который вы только что загрузили с шага выше, затем загрузите.

1. Следуйте инструкциям для запуска кластера MapR.

Введите имя стека и выберите ключ как минимум.

Элементы на странице ниже являются необязательными. Оставьте их пустыми.

Установите флажок соглашения и нажмите «Создать».

Если все идет хорошо, кластер должен быть успешно развернут.

Войдите в экземпляр и запустите скрипт развертывания MapR.

1. Найдите внешний IP-адрес вновь запущенного экземпляра, перейдя на портал EC2. Найдите экземпляр с именем «mapr520_docker», и его IP-адрес должен появиться.

1. Подождите, пока состояние экземпляра не изменится с «Инициализация» на «2/2 проверки», затем введите ssh в экземпляр, введя команду « ssh ec2-user @ <IP address> » с вашего компьютера.
2. Когда вы окажетесь в экземпляре, выполните следующую команду для развертывания кластера MapR: « sudo / usr / bin / deploy-mapr ». Вам будет предложено ответить на несколько вопросов, которые должны быть понятны , но если вы не уверены, затем оставьте ответы по умолчанию. Запишите эти варианты, потому что они понадобятся вам позже. Затем он проведет вас через процесс установки в интерактивном режиме. Через 20–30 минут вы должны запустить кластер.
3. Если вы ошиблись, не волнуйтесь. Просто повторите предыдущий шаг, чтобы переустановить. Кроме того, если вы хотите попробовать другой безопасный режим, просто повторите предыдущий шаг — старый кластер будет удален, а новый кластер будет развернут.

Применить пробную лицензию (необязательно)

На данный момент кластер работает, вы можете начать исследовать кластер MapR, даже без лицензии. Однако, чтобы воспользоваться преимуществами таких возможностей, как HA, NFS gateway и другие, вам придется применить 30-дневную неограниченную пробную лицензию.

1. Укажите в браузере страницу системы управления MapR (MCS): https: // <IP-адрес экземпляра>: 8443 , войдите в систему как пользователь-администратор и введите пароль, назначенный на предыдущем шаге. Нажмите на вкладку «Управление лицензиями» в правом верхнем углу. Скопируйте идентификатор кластера.

1. Теперь перейдите на www.mapr.com и зарегистрируйте учетную запись в MapR (ссылка для входа находится в верхнем правом углу домашней страницы). После входа в систему выберите вкладку «Мои кластеры» и нажмите «Зарегистрировать кластер».

1. Введите идентификатор кластера и имя кластера и нажмите «Зарегистрироваться».

1. Теперь вернитесь на страницу MCS и нажмите «Добавить лицензию через Интернет», чтобы применить лицензию.

1. После применения лицензии вы можете запустить службы шлюза NFS на портале MCS.

Начните изучать кластер

Мини-кластер поставляется с некоторыми примерами сценариев / данных, включенными для начала работы. Чтобы начать исследование, вы должны сначала войти в клиентский контейнер.

1. Вернитесь к приглашению оболочки вашего экземпляра. Введите « sudo ent », чтобы попасть в клиентский контейнер.

Пример:

1. Теперь давайте станем пользователем ldap; обратите внимание, что имя пользователя ldap не существует в локальном файле / etc / passwd.

1. Если у вас есть защищенный кластер (билет MapR), вы должны использовать команду maprlogin для получения maprticket, иначе вы не сможете получить доступ к файловой системе.

1. Если у вас есть кластер Kerberized, вы должны использовать команду kinit для получения токена Kerberos.

1. Чтобы начать работу с Apache Drill , перейдите в / opt / data / drill. Пример:

1. Чтобы начать работу со Spark, загляните в блог Кэрол Макдональдс для анализа данных Uber .

Обратите внимание, что при первом запуске кластера скорость обработки может быть немного медленной в зависимости от региона AWS, в котором вы находились. Но из-за возможности кэширования Docker вы обнаружите, что скорость будет увеличиваться со временем.

Резюме

Мини-кластер MapR — отличный способ познакомиться с производственной средой для платформы конвергентных данных MapR. Это может быть обеспечено (с или без Kerberos). Он имеет отдельный клиентский контейнер и может быть интегрирован с выбранным вами программным обеспечением сторонних производителей. И это дает вам полный набор функций, которые может предложить платформа MapR без необходимости раскручивать несколько экземпляров узла в облаке.