В Apache NiFi есть несколько способов отслеживать различные статистические данные системы, такие как ошибки, использование памяти, использование процессора, статистика потоков данных и т. Д. В этом руководстве мы обсудим наиболее популярные из них.
Встроенный мониторинг
В этом разделе мы узнаем больше о встроенном мониторинге в Apache NiFi.
Доска объявлений
На доске объявлений показаны последние ошибки и предупреждения, генерируемые процессорами NiFi, в режиме реального времени. Чтобы получить доступ к доске объявлений, пользователь должен перейти в выпадающее меню справа и выбрать опцию доски объявлений. Он обновляется автоматически, и пользователь также может отключить его. Пользователь также может перейти к фактическому процессору, дважды щелкнув по ошибке. Пользователь также может отфильтровать бюллетени, выполнив следующие действия:
- по сообщению
- по имени
- по идентификатору
- по идентификатору группы
Пользовательский интерфейс данных
Для отслеживания событий, происходящих на любом конкретном процессоре или во всем NiFi, пользователь может получить доступ к данным происхождения из того же меню, что и доска объявлений. Пользователь также может фильтровать события в хранилище данных происхождения, работая со следующими полями:
- по названию компонента
- по типу компонента
- по типу
Обзор интерфейса NiFi
Доступ к сводке Apache NiFi также можно получить из того же меню, что и доска объявлений. Этот интерфейс содержит информацию обо всех компонентах этого конкретного экземпляра или кластера NiFi. Они могут быть отфильтрованы по имени, по типу или по URI. Существуют разные вкладки для разных типов компонентов. Ниже приведены компоненты, которые можно отслеживать в итоговом пользовательском интерфейсе NiFi.
- процессоры
- Входные порты
- Выходные порты
- Удаленные группы процессов
- связи
- Группы процессов
В этом пользовательском интерфейсе внизу справа есть ссылка с названием «Диагностика системы» для проверки статистики JVM.
Задачи отчетности
Apache NiFi предоставляет несколько задач отчетности для поддержки внешних систем мониторинга, таких как Ambari, Grafana и т. Д. Разработчик может создать настраиваемую задачу отчетности или настроить встроенные задачи для отправки метрик NiFi в системы внешнего мониторинга. В следующей таблице перечислены задачи отчетности, предлагаемые NiFi 1.7.1.
| S.No. | Название задачи отчетности | Описание |
|---|---|---|
| 1 | AmbariReportingTask | Чтобы настроить Ambari Metrics Service для NiFi. |
| 2 | ControllerStatusReportingTask | Чтобы сообщить информацию из сводного интерфейса NiFi за последние 5 минут. |
| 3 | MonitorDiskUsage | Чтобы сообщить и предупредить об использовании диска определенного каталога. |
| 4 | MonitorMemory | Для наблюдения за количеством кучи Java, используемой в пуле памяти Java JVM. |
| 5 | SiteToSiteBulletinReportingTask | Сообщать об ошибках и предупреждениях в бюллетенях с использованием протокола Site to Site. |
| 6 | SiteToSiteProvenanceReportingTask | Чтобы сообщить о событиях NiFi Data Provenance с использованием протокола Site to Site. |
NiFi API
Существует API, называемый системной диагностикой, который можно использовать для мониторинга статистики NiFI в любом специально разработанном приложении. Давайте проверим API в почтальоне.