Apache NiFi — это мощная, простая в использовании и надежная система для обработки и распределения данных между различными системами. Он основан на технологии Niagara Files, разработанной NSA, а затем, через 8 лет, передан в фонд Apache Software. Он распространяется под лицензией Apache License Version 2.0, январь 2004 года. Последняя версия для Apache NiFi — 1.7.1.
Apache NiFi — платформа приема данных в режиме реального времени, которая может передавать и управлять передачей данных между различными источниками и системами назначения. Он поддерживает широкий спектр форматов данных, таких как журналы, данные о географическом местоположении, социальные сети и т. Д. Он также поддерживает множество протоколов, таких как SFTP, HDFS и KAFKA, и т. Д. Эта поддержка широкого спектра источников данных и протоколов делает эту платформу популярной в многие ИТ-организации.
Apache NiFi — общие характеристики
Основные характеристики Apache NiFi следующие:
-
Apache NiFi предоставляет веб-интерфейс пользователя, который обеспечивает плавное взаимодействие между дизайном, управлением, обратной связью и мониторингом.
-
Это очень настраиваемый. Это помогает пользователям с гарантированной доставкой, низкой задержкой, высокой пропускной способностью, динамическим назначением приоритетов, обратным давлением и изменением потоков во время выполнения.
-
Он также предоставляет модуль происхождения данных для отслеживания и мониторинга данных от начала до конца потока.
-
Разработчики могут создавать свои собственные процессоры и задачи отчетности в соответствии со своими потребностями.
-
NiFi также обеспечивает поддержку безопасных протоколов, таких как SSL, HTTPS, SSH и других шифрований.
-
Он также поддерживает управление пользователями и ролями, а также может быть настроен с LDAP для авторизации.
Apache NiFi предоставляет веб-интерфейс пользователя, который обеспечивает плавное взаимодействие между дизайном, управлением, обратной связью и мониторингом.
Это очень настраиваемый. Это помогает пользователям с гарантированной доставкой, низкой задержкой, высокой пропускной способностью, динамическим назначением приоритетов, обратным давлением и изменением потоков во время выполнения.
Он также предоставляет модуль происхождения данных для отслеживания и мониторинга данных от начала до конца потока.
Разработчики могут создавать свои собственные процессоры и задачи отчетности в соответствии со своими потребностями.
NiFi также обеспечивает поддержку безопасных протоколов, таких как SSL, HTTPS, SSH и других шифрований.
Он также поддерживает управление пользователями и ролями, а также может быть настроен с LDAP для авторизации.
Apache NiFi — основные понятия
Основные понятия Apache NiFi следующие:
Группа процессов — это группа потоков NiFi, которая помогает пользователю управлять и поддерживать потоки в иерархическом порядке.
Поток — создается для соединения разных процессоров для передачи и изменения данных, если это необходимо, из одного источника данных или источников в другие источники данных назначения.
Процессор . Процессор — это Java-модуль, отвечающий за выборку данных из системы источников или сохранение их в системе назначения. Другие процессоры также используются для добавления атрибутов или изменения содержимого в потоковом файле.
Flowfile — это основное использование NiFi, которое представляет собой единый объект данных, выбранных из исходной системы в NiFi. NiFiprocessor делает изменения в потоковый файл, в то время как он перемещается от исходного процессора к месту назначения. Различные процессы, такие как CREATE, CLONE, RECEIVE и т. Д., Выполняются в поточном файле различными процессорами в потоке.
Событие — события представляют изменение потока файла при прохождении потока NiFi. Эти события отслеживаются в происхождении данных.
Происхождение данных — это хранилище. Он также имеет пользовательский интерфейс, который позволяет пользователям проверять информацию о потоковом файле и помогает в устранении неполадок, возникающих при обработке потокового файла.
Apache NiFi позволяет получать данные с удаленных компьютеров с помощью SFTP и гарантирует передачу данных.
Apache NiFi поддерживает кластеризацию, поэтому он может работать на нескольких узлах с одинаковым потоком, обрабатывая разные данные, что повышает производительность обработки данных.
Он также предоставляет политики безопасности на уровне пользователя, группы процессов и других модулей.
Его пользовательский интерфейс также может работать по протоколу HTTPS, что делает взаимодействие пользователей с NiFi безопасным.
NiFi поддерживает около 188 процессоров, и пользователь также может создавать собственные плагины для поддержки широкого спектра систем данных.
Когда узел отключается от кластера NiFi, когда пользователь вносит в него какие-либо изменения, то flow.xml становится недействительным. Узел не может подключиться обратно к кластеру, если администратор не скопирует вручную файл flow.xml с подключенного узла.
Apache NiFi имеет проблему с сохранением состояния в случае переключения основного узла, что иногда делает процессоры неспособными получать данные из систем источников.