Учебники

Apache NiFi – мониторинг

В Apache NiFi есть несколько способов отслеживать различные статистические данные системы, такие как ошибки, использование памяти, использование процессора, статистика потоков данных и т. Д. В этом руководстве мы обсудим наиболее популярные из них.

Встроенный мониторинг

В этом разделе мы узнаем больше о встроенном мониторинге в Apache NiFi.

Доска объявлений

На доске объявлений показаны последние ошибки и предупреждения, генерируемые процессорами NiFi, в режиме реального времени. Чтобы получить доступ к доске объявлений, пользователь должен перейти в выпадающее меню справа и выбрать опцию доски объявлений. Он обновляется автоматически, и пользователь также может отключить его. Пользователь также может перейти к фактическому процессору, дважды щелкнув по ошибке. Пользователь также может отфильтровать бюллетени, выполнив следующие действия:

  • по сообщению
  • по имени
  • по идентификатору
  • по идентификатору группы

Пользовательский интерфейс данных

Для отслеживания событий, происходящих на любом конкретном процессоре или во всем NiFi, пользователь может получить доступ к данным происхождения из того же меню, что и доска объявлений. Пользователь также может фильтровать события в хранилище данных происхождения, работая со следующими полями:

  • по названию компонента
  • по типу компонента
  • по типу

Обзор интерфейса NiFi

Доступ к сводке Apache NiFi также можно получить из того же меню, что и доска объявлений. Этот интерфейс содержит информацию обо всех компонентах этого конкретного экземпляра или кластера NiFi. Они могут быть отфильтрованы по имени, по типу или по URI. Существуют разные вкладки для разных типов компонентов. Ниже приведены компоненты, которые можно отслеживать в итоговом пользовательском интерфейсе NiFi.

  • процессоры
  • Входные порты
  • Выходные порты
  • Удаленные группы процессов
  • связи
  • Группы процессов

В этом пользовательском интерфейсе внизу справа есть ссылка с названием «Диагностика системы» для проверки статистики JVM.

Задачи отчетности

Apache NiFi предоставляет несколько задач отчетности для поддержки внешних систем мониторинга, таких как Ambari, Grafana и т. Д. Разработчик может создать настраиваемую задачу отчетности или настроить встроенные задачи для отправки метрик NiFi в системы внешнего мониторинга. В следующей таблице перечислены задачи отчетности, предлагаемые NiFi 1.7.1.

S.No. Название задачи отчетности Описание
1 AmbariReportingTask Чтобы настроить Ambari Metrics Service для NiFi.
2 ControllerStatusReportingTask Чтобы сообщить информацию из сводного интерфейса NiFi за последние 5 минут.
3 MonitorDiskUsage Чтобы сообщить и предупредить об использовании диска определенного каталога.
4 MonitorMemory Для наблюдения за количеством кучи Java, используемой в пуле памяти Java JVM.
5 SiteToSiteBulletinReportingTask Сообщать об ошибках и предупреждениях в бюллетенях с использованием протокола Site to Site.
6 SiteToSiteProvenanceReportingTask Чтобы сообщить о событиях NiFi Data Provenance с использованием протокола Site to Site.

NiFi API

Существует API, называемый системной диагностикой, который можно использовать для мониторинга статистики NiFI в любом специально разработанном приложении. Давайте проверим API в почтальоне.