Статьи

Apache Ambari встречает Spring XD

Октябрь 30, 2017

Мы рады объявить о первой версии   плагина Apache Ambari для  Spring XD .

Ambari — это инструмент обеспечения кластера для установки и управления различными проектами Apache, такими как HDFS, YARN, Zookeeper или Kafka. У Ambari есть понятие определения стека, которое используется как Pivotal, так и Hortonworks. Определение стека обычно состоит из компонентов, поддерживаемых сопровождающим.

Эта интеграция с Ambari добавляет поддержку для подготовки Spring XD с  Pivotal HD 3.0  и Hortonworks HDP 2.2 .

Spring XD не является частью основного дистрибутива Ambari для PHD или HDP. Тем не менее, легко расширить существующую установку Ambari с помощью простой установки RPM, которая изменяет существующие определения стека.

Мы подготовили  инструкции  по установке в нашем репозитории  Github spring-xd-ambari  вместе с исходным кодом для этого плагина.

Spring XD на Pivotal HD 3.0 с внешним Redis в качестве шины сообщений:
PIC PHD

Spring XD на Hortonworks HDP 2.2 с Ambari размещал Kafka в качестве шины сообщений:
ПИК HDP

После успешного завершения подготовки кластера можно легко подключиться к работающему кластеру Spring XD из оболочки XD. Командный сценарий  /etc/springxd/conf/xd-shell.initсоздается автоматически с правильными настройками, которые вы можете загрузить в оболочку XD.

$ export JAVA_HOME=/usr/jdk64/jdk1.7.0_67
$ xd-shell
server-unknown:>script --file /etc/springxd/conf/xd-shell.init
admin config server http://ambari-2.localdomain:9393
Successfully targeted http://ambari-2.localdomain:9393
hadoop config fs --namenode hdfs://ambari-2.localdomain:8020
Script required 0.625 seconds to execute

xd:>runtime containers
  Container Id                          Host                  IP Address      PID    Groups  Custom Attributes
  ------------------------------------  --------------------  --------------  -----  ------  -----------------
  44c34156-8b8a-4ada-ad46-e5d955b6f995  ambari-6.localdomain  172.16.101.146  6327
  d8273536-c688-4fdd-b370-6bc0f68bdc25  ambari-5.localdomain  172.16.101.145  31199


xd:>hadoop fs ls /
Found 9 items
drwxrwxrwx   - yarn      hadoop           0 2015-06-01 04:55 /app-logs
drwxr-xr-x   - gpadmin   gpadmin          0 2015-06-01 04:52 /hawq_data
drwxr-xr-x   - mapred    hdfs             0 2015-06-01 04:50 /mapred
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:50 /mr-history
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:51 /phd
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:52 /system
drwxrwxrwx   - hdfs      hdfs             0 2015-06-01 04:53 /tmp
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:53 /user
drwxrwxrwx   - spring-xd hdfs             0 2015-06-01 07:29 /xd
Writing into HDFS works out of the box.

xd:>stream create --name hdfstest --definition "time|hdfs" --deploy
xd:>stream destroy --name hdfstest

xd:>hadoop fs ls --recursive true --dir /xd
drwxrwxrwx   - spring-xd hdfs          0 2015-06-01 07:29 /xd/hdfstest
-rw-r--r--   3 spring-xd hdfs        680 2015-06-01 07:29 /xd/hdfstest/hdfstest-0.txt

SpringOne 2GX 2015 не за горами!

Забронируйте свое место в  SpringOne2GX в Вашингтоне, округ Колумбия, в ближайшее время . Цена Супер Раннего Птица истекает 12 июня! Это просто лучшая возможность узнать из первых рук обо всем, что происходит, и предоставить прямую обратную связь.

Скидки

  • Уровень цены Super Early Bird (скидка $ 300) истекает 12 июня. Уровень ранних пташек (13 июня — 14 августа) со скидкой 150 долларов.
  • Зарегистрируйтесь 4 и получите 5-й пропуск бесплатно. Свяжитесь с нами с именами ваших первых 4 регистрантов для вашего бесплатного кода доступа (только для допуска на конференцию).
  • Выпускники, свяжитесь с нами для получения кода скидки ($ 150 от любого варианта).

29
Share: