Оператор Kubernetes Spark в OpenShift Origin (часть 1)

Эта серия статей об операторе искры Kubernetes от Radanalytics.io на
Происхождение OpenShift . Это оператор с открытым исходным кодом для управления
Apache Spark кластеры и приложения.

Чтобы развернуть оператор в OpenShift Origin, в первый раз вам необходимо клонировать для него GitHub-репозиторий:

Затем войдите в кластер с помощью командной строки OpenShift
ок :

Предполагая, что, как и в средах OpenShift Origin, с которыми я и мои команды работали, у разработчиков нет прав на создание CRD, вам нужно использовать Config Maps, поэтому вам нужно создать оператора с помощью
Файл operator-com.yaml, предоставленный в клонированном репо:

Вывод команды выше должен быть следующим:

После того, как оператор был успешно создан, вы можете попытаться создать свой первый кластер. Выберите конкретный проект, который вы хотите использовать:

а затем создайте небольшой кластер Spark (1 мастер и 2 рабочих), используя файл примера для ConfigMaps, доступный в клонированном репо:

Вот содержимое этого файла:

Вывод вышеуказанной команды:

После успешного создания кластера, глядя на веб-интерфейс OpenShift, ситуация должна выглядеть следующим образом:

Чтобы получить доступ к веб-интерфейсу Spark, вам необходимо создать для него маршрут. Это можно сделать с помощью пользовательского интерфейса OpenShift Origin, выбрав службу Spark и нажав
ссылка на маршрут . Как только маршрут будет создан, веб-интерфейс Spark для мастера (см. Рисунок ниже) и рабочих будет доступен из-за пределов OpenShift.

Теперь вы можете использовать кластер Spark. Вы можете начать тестирование, войдя в консоль главного модуля, запустив там оболочку Scala Spark и выполнив некоторый код:

Во второй части этой серии мы собираемся изучить детали реализации и конфигурации оператора Spark, прежде чем переходить к управлению приложениями Spark.