Как создавать приложения на базе данных документов NoSQL и выполнять аналитику на месте

В этой статье мы рассмотрим, что значит иметь конвергентную платформу данных для создания и доставки бизнес-приложений. Этот пример приложения будет создавать статьи блога для личного сайта.

На следующем рисунке показан поток данных и то, как приложение MapR-DB Rest использует OJAI API для взаимодействия с таблицами JSON MapR-DB. Затем мы рассмотрим, как запустить ANSI SQL с использованием Apache Drill 1.6 в тех же таблицах JSON MapR-DB, без необходимости преобразования или перемещения данных в другое место.

Получите что-нибудь в его естественной форме и используйте стандартные инструменты для аналитики на месте.

Это приложение MapR-DB REST содержит следующие компоненты:

• Основной класс, который запускает Jetty Server и настраивает интерфейс REST, используя JAX-RS
• Swagger для легкого доступа к HTTP API
• Приложение Angular JS, которое использует этот API

Для начала вам понадобится установка MapR или песочница с 5.1 и Apache Drill 1.6 с минимум 8 ГБ оперативной памяти. Если у вас это уже есть, перейдите в раздел «Настройка среды сборки».

Получение песочницы MapR 5.1 (если требуется)

Загрузите изолированную программную среду MapR 5.1, следуя инструкциям здесь http://maprdocs.mapr.com/51/index.html#SandboxHadoop/t_install_sandbox_vmware.html

Эта песочница должна иметь доступ к Интернету для завершения остальной части установки.

Убедитесь, что вы увеличили объем оперативной памяти с 6 до 8 Гбайт на виртуальной машине перед ее запуском Для Apache Drill потребуется 2 ГБ ОЗУ.

После установки и запуска песочницы вы должны увидеть следующий экран. Обратите внимание, я использую VM Fusion на Mac OSX

Войдите в кластер как mapr, обратите внимание, IP-адрес вашей Песочницы может отличаться от моего примера.

Настройка среды сборки

Чтобы иметь возможность собрать приложение для восстановления MapR-DB, нам сначала нужно настроить Maven.

Эти инструкции установят Maven 3 на Centos, чтобы мы могли скомпилировать приложение OJAI. Пожалуйста, измените соответственно для дистрибутива на основе Ubuntu

Выйдите из песочницы и вернитесь, чтобы получить эти изменения. Вы должны увидеть следующее.

Загрузка и компиляция приложения MapR-DB Rest

Следующие инструкции сначала настроят структуру каталогов в MapR-FS, загрузят приложение для восстановления MapR-DB, скомпилируют его и, наконец, запустят.

Как пользователь MapR

Наконец, запустите программу, введя следующую команду. Обратите внимание, что это заблокирует консоль, поэтому вам может понадобиться другая консоль в кластере для запуска дополнительных команд.

Обратите внимание, что иногда порт 8080 уже используется, это можно изменить, изменив порты в следующем файле и затем перекомпилировав приложение.

Изучите приложение для отдыха MapR-DB

Пожалуйста, не стесняйтесь исследовать приложение Rest MapR-DB и создавать столько статей для вашего блога, сколько вам нужно для демонстрации или тестирования.

После запуска сервера вы можете получить доступ к интерфейсу Swagger, используя следующий URI:

• Http: // <ip_address>: 8080 / чванство

Или веб-приложения

• Http: // <ip_address>: 8080 / приложение / # /

Вы можете использовать веб-приложение для создания пользователя и публикации в блоге.

Затем в интерфейсе Swagger вы можете обнаружить некоторые интересные функции:

• Создать пользователя из предопределенного объекта JSON

• Создать статью из строки JSON ^{[a] [b]}

• Список пользователей, используя простую проекцию

• Обновите пользователя, чтобы добавить псевдоним, добавить интересы и удалить эти атрибуты. Вы видите здесь гибкую схему в действии

Подобные функции представлены в API REST для статей.

После того как вы создали несколько пользователей и постов, теперь мы можем использовать Apache Drill для доступа к тем же таблицам MapR-DB JSON.

Установка Apache Drill

Если вы используете MapR Sandbox, у вас уже должен быть установлен Apache Drill, но если в вашей установке не установлен Apache Drill, следуйте приведенным ниже инструкциям.

В качестве пользователя root нам нужно установить Apache Drill 1.6 или выше. Сначала очистите и обновите кэш yum, чтобы убедиться, что мы получили последнюю версию.

Пожалуйста, убедитесь, что следующее говорит Drill 1.6 или выше, прежде чем продолжить. Это загрузит 300 МБ, поэтому это может занять некоторое время.

Получить новый сервер, чтобы забрать Apache Drill

Анализ таблиц JSON MapR-DB с использованием Apache Drill

Давайте используем графический интерфейс Apache Drill для просмотра таблиц, которые только что создало приложение OJAI. Apache Drill может управляться любым инструментом BI через соединения ODBC или JDBC. В следующем примере я использовал веб-интерфейс Drill, но вы можете легко использовать здесь все, что захотите.
Перейдите к порту 8047 в песочнице и вы увидите вариант запроса. В запросе введите следующее и нажмите отправить.

Вы увидите следующие результаты.

Вторым тестом является следующий запрос

Здесь, в этой статье, мы изучили, как настроить приложение, работающее поверх таблиц JSON MapR-DB, и как запрашивать эти данные без необходимости перемещать или преобразовывать данные из исходного формата хранения. Поскольку JSON самоописывает себя, это позволяет другим легко понимать и запрашивать используемые структуры данных. Это очень мощная функция, которая может быть использована для оптимизации разработки приложений и аналитики. Я надеюсь, что вы нашли это полезным.