Высокопроизводительные вычислительные кластеры (HPCC) и Cassandra на OS X

Наша новая материнская компания LexisNexis обладает одной из крупнейших в мире баз данных публичных записей:

«… Наша обширная коллекция из более чем 46 миллиардов записей из более чем 10 000 различных источников, включая публичные, частные, регулируемые и производные данные. Вы получаете исчерпывающую информацию о примерно 269 млн. Человек и 277 млн. Уникальных предприятий ».

http://www.lexisnexis.com/en-us/products/public-records.page

И они управляли, анализировали и искали эту базу данных в течение десятилетий. За это время они создали целый ряд технологий «больших данных». В совокупности LexisNexis называет эти технологии своей платформой высокопроизводительных вычислительных кластеров (HPCC).

• http://hpccsystems.com/Why-HPCC/How-it-works

HPCC полностью с открытым исходным кодом:

• https://github.com/hpcc-systems/HPCC-Platform

Естественно, мы работаем через объединение HPCC с нашим стеком управления и анализа данных в реальном времени. Потенциал действительно захватывающий. В частности, HPCC имеет сложные библиотеки машинного обучения и статистики и механизм запросов (Roxie), способный обслуживать эту статистику.

• http://hpccsystems.com/ml

Не важно, HPCC может использовать Cassandra в качестве механизма хранения данных! (FTW!)

Платформа HPCC технически не поддерживается на Mac, но вот что я сделал для ее запуска:

HPCC Установить

• Клонировать репозиторий github и его подмодули (git submodule update –init –recursive)
• Вытащите мои патчи ( https://github.com/hpcc-systems/HPCC-Platform/pull/7166 )
• Установите зависимости используя brew

  1 2 3 4 5 6

  brew install icu4c brew install boost brew install libarchive brew install bison27 brew install openldap brew install nodejs

• Создайте каталог для сборки и оттуда запустите cmake:

  1 2 3

  export CC=/usr/bin/clang export CXX=/usr/bin/clang++ cmake ../ -DICU_LIBRARIES=/usr/local/opt/icu4c/lib/libicuuc.dylib -DICU_INCLUDE_DIR=/usr/local/opt/icu4c/include -DLIBARCHIVE_INCLUDE_DIR=/usr/local/opt/libarchive/include -DLIBARCHIVE_LIBRARIES=/usr/local/opt/libarchive/lib/libarchive.dylib -DBOOST_REGEX_LIBRARIES=/usr/local/opt/boost/lib -DBOOST_REGEX_INCLUDE_DIR=/usr/local/opt/boost/include  -DUSE_OPENLDAP=true -DOPENLDAP_INCLUDE_DIR=/usr/local/opt/openldap/include -DOPENLDAP_LIBRARIES=/usr/local/opt/openldap/lib/libldap_r.dylib -DCLIENTTOOLS_ONLY=false -DPLATFORM=true

• Затем скомпилируйте и установите с помощью (sudo make install)
• После этого вам нужно немного поработать с разрешениями:

  1 2 3

  chmod -R a+rwx /opt/HPCCSystems/ chmod -R a+rwx /var/lock/HPCCSystems chmod -R a+rwx /var/log/HPCCSystems

• Теперь, как правило, вы запускаете hpcc-init для настройки системы, но этот скрипт не работает в OS X, поэтому я использовал linux для генерации работающих файлов конфигурации и разместил их в репозитории здесь: https://github.com/boneill42 / hpcc_on_mac
• Клонируйте этот репозиторий и замените / var / lib / HPCCSystems содержимым var_lib_hpccsystems.zip

  1 2 3

  sudo rm -fr /var/lib/HPCCSystems sudo unzip var_lib_hpccsystems.zip -d /var/lib chmod -R a+rwx /var/lib/HPCCSystems

• Затем из каталога, содержащего файлы XML в этом хранилище, вы можете запустить:
• daserver : (запускает сервер Dali, который является механизмом сохранения для HPCC)
• esp : (Запускает сервер ESP, который является веб-сервисом и уровнем пользовательского интерфейса для HPCC)
• eclccserver : (запускает сервер компиляции ECL, который берет ECL и компилирует его в C, а затем в dynmic библиотеку)
• roxie (запускает сервер Roxie, который способен отвечать на запросы)
• Начните каждый из них, тогда вы должны быть готовы запустить ECL. Затем перейдите по адресу http: // localhost: 8010 в браузере. Вы готовы запустить ECL!

Запуск ECL

Как и Pig с Hadoop, HPCC использует DSL под названием ECL. Более подробную информацию о ECL можно найти здесь: http://hpccsystems.com/download/docs/learning-ecl

• В качестве простого теста дыма перейдите в свой репозиторий платформы HPCC и перейдите по адресу: ./testing/regress/ecl.
• Затем выполните следующее:

1	ecl run hello.ecl --target roxie --server=localhost:8010

• Вы должны увидеть следующее:

  1 2 3

  <dataset name="Result 1"> <row><result_1>Hello world</result_1></row> </dataset>

Кассандра Плагин

Когда HPCC запущен и работает, мы готовы повеселиться с Cassandra. HPCC имеет плагины. Эти плагины находятся в / opt / HPCC / plugins. Мне пришлось скопировать эти библиотеки в / opt / HPCCSystems / lib, чтобы HPCC распознал их.

Вернитесь в каталог testing / regress / ecl и посмотрите на cassandra-simple.ecl. Фрагмент приведен ниже:

В этом примере мы определяем childrec как RECORD с набором полей. Затем мы создаем DATASET типа childrec. Затем мы определяем метод, который принимает набор данных типа childrec и запускает команду вставки Cassandra для каждой записи в наборе данных.

Запуск Кассандры локально. (скачайте Cassandra, разархивируйте его, затем запустите bin / cassandra -f (чтобы сохранить его на переднем плане))

Как только Cassandra включится, просто запустите ECL, как вы сделали программу hello.

Затем вы можете перейти к cqlsh и проверить, что все данные вернулись в Cassandra:

Хорошо, это должно дать немного вкуса ECL и HPCC. Это мощная платформа.

Как всегда, дайте мне знать, если у вас возникнут проблемы.