Учебник Nifi

Apache NiFi — это программное обеспечение с открытым исходным кодом для автоматизации и управления потоком данных между системами. Это мощная и надежная система для обработки и распространения данных. Он предоставляет веб-интерфейс пользователя для создания, мониторинга и управления потоками данных. Он имеет настраиваемый и изменяемый процесс потока данных, который может изменять данные во время выполнения. Это легко расширяется за счет разработки пользовательских компонентов.

В этом уроке вы узнаете

Вот причины использования Apache Nifi:

• Позволяет принимать данные для извлечения данных из NiFi из многочисленных источников данных и создания потоковых файлов.
• Он предлагает контроль в реальном времени, который помогает вам управлять перемещением данных между любым источником и пунктом назначения
• Визуализация DataFlow на уровне предприятия
• Обеспечить общие инструменты и расширения
• Позволяет использовать преимущества существующих библиотек и функциональность экосистемы Java
• Помогает организациям интегрировать Nifi с существующей инфраструктурой
• NiFi предназначен для масштабирования в кластерах, которые предлагают гарантированную доставку данных
• Визуализация и мониторинг производительности, поведения в потоковом бюллетене, который предлагает понимание и встроенную документацию
• Помогает запускать и останавливать компоненты отдельно или на уровне группы
• Это помогает вам прослушивать, извлекать, разделять, объединять, маршрутизировать, преобразовывать и перетаскивать поток данных

• Разработано в АНБ более восьми лет
• 2014 — пожертвовано в фонд Apache Software Foundation
• 2015 — NiFi стал официальной частью Apache Project Suite
• С тех пор каждые 6-8 недель Apache NiFi выпускает новое обновление

Apache NiFi имеет продуманную архитектуру. Как только данные извлекаются из внешних источников, они представляются как FlowFile в архитектуре Apache NiFi.

• NiFi поддерживает буферизацию всех данных в очереди и предлагает возможность обратного давления, поскольку эти очереди могут достигать определенных пределов
• NiFi позволяет установить одну или несколько схем приоритизации
• Предоставляет процессоры соединения для многих источников данных
• Поддержите любое устройство, которое работает на Java
• Идеально подходит для мест с ограниченным доступом
• Поддержка для устранения неполадок и оптимизации потока
• Предлагает аутентификацию / авторизацию на основе ролей
• Позволяет загружать, восстанавливать и воспроизводить отдельные файлы
• Создайте свои процессоры, службы контроллера и многое другое
• Обеспечить шифрование контента, связь по защищенным протоколам
• Обеспечивает быструю разработку и эффективное тестирование.
• Позволяет разрабатывать простые однофункциональные компоненты, которые можно использовать повторно и комбинировать для создания более сложных потоков.
• Позволяет изолировать загрузчик классов для более простого управления зависимостями

• Идеально подходит для разделения тестовых / dev / производственных сред в NiFi
• Вы должны разбить свой поток на группы процессов
• Используйте соглашение об именах, используйте комментарии и метки
• Организуйте свои проекты в три этапа: прием, тестирование и мониторинг
• Используйте уникальные имена для переменных

• Нужен точный контроль безопасности и соответствия
• Вы должны очень хорошо знать основную систему при работе с Apache NiFi
• Необходимо поддерживать цепочку хранения данных
• Транспорт / обмен сообщениями может оказаться недостаточно
• Потребности в доступе к данным превышают доступные ресурсы для транспортировки
• Не все данные созданы одинаково
• SSL и авторизация на уровне темы могут быть недостаточными

Резюме

• Apache NiFi — это программное обеспечение с открытым исходным кодом для автоматизации и управления потоком данных между системами.
• NiFi предназначен для масштабирования в кластерах, которые предлагают гарантированную доставку данных
• Нифи был разработан в АНБ более восьми лет
• Как только данные извлекаются из внешних источников, они представляются как FlowFile в архитектуре Apache NiFi.
• FlowFile, процессор, контроллер, веб-сервер, подключение, обратное давление, хранилище — важные компоненты архитектуры NiFi
• Nifi поддерживает любое устройство, которое работает на Java
• Вы можете легко установить NiFi на AWS
• NiFi используется в различных отраслях, таких как здравоохранение, страхование, телекоммуникации, производство, финансы, нефть и газ и другие.
• В качестве лучшей практики организуйте свои проекты на три части: прием, тестирование и мониторинг