В этой главе мы обсудим категоризацию процессов в Apache NiFi.
Процессоры загрузки данных
Процессоры в категории Data Ingestion используются для ввода данных в поток данных NiFi. Это в основном отправная точка любого потока данных в Apache NiFi. Некоторые из процессоров, которые принадлежат к этим категориям: GetFile, GetHTTP, GetFTP, GetKAFKA и т. Д.
Процессоры маршрутизации и посредничества
Процессоры маршрутизации и посредничества используются для маршрутизации потоковых файлов к различным процессорам или потокам данных в соответствии с информацией в атрибутах или содержимом этих потоковых файлов. Эти процессоры также отвечают за управление потоками данных NiFi. Некоторые из процессоров, которые принадлежат к этой категории, являются RouteOnAttribute, RouteOnContent, ControlRate, RouteText и т. Д.
Процессоры доступа к базам данных
Процессоры этой категории доступа к базе данных способны выбирать или вставлять данные или выполнять и подготавливать другие операторы SQL из базы данных. Эти процессоры в основном используют настройки контроллера пула соединений данных Apache NiFi. Некоторые из процессоров, которые относятся к этой категории, — это ExecuteSQL, PutSQL, PutDatabaseRecord, ListDatabaseTables и т. Д.
Процессоры извлечения атрибутов
Процессоры извлечения атрибутов отвечают за извлечение, анализ, изменение обработки атрибутов потокового файла в потоке данных NiFi. Некоторые из процессоров, которые принадлежат к этой категории, являются UpdateAttribute, EvaluateJSONPath, ExtractText, AttributesToJSON и т. Д.
Процессоры системного взаимодействия
Процессоры System Interaction используются для запуска процессов или команд в любой операционной системе. Эти процессоры также запускают сценарии на многих языках для взаимодействия с различными системами. Некоторые из процессоров, которые принадлежат к этой категории: ExecuteScript, ExecuteProcess, ExecuteGroovyScript, ExecuteStreamCommand и т. Д.
Процессоры преобразования данных
Процессоры, принадлежащие Data Transformation, способны изменять содержимое потоковых файлов. Они могут использоваться для полной замены данных потокового файла, обычно используемого, когда пользователь должен отправить потоковый файл как тело HTTP для вызова процессора HTP. Некоторые из процессоров, которые принадлежат к этой категории, являются ReplaceText, JoltTransformJSON и т. Д.
Отправка процессоров данных
Отправляющие процессоры данных обычно являются конечным процессором в потоке данных. Эти процессоры отвечают за хранение или отправку данных на целевой сервер. После успешного сохранения или отправки данных эти процессоры сбрасывают потоковый файл с успешным отношением. Некоторые из процессоров, которые относятся к этой категории: PutEmail, PutKafka, PutSFTP, PutFile, PutFTP и т. Д.
Процессоры расщепления и агрегации
Эти процессоры используются для разделения и объединения содержимого, присутствующего в потоковом файле. Некоторые из процессоров, которые относятся к этой категории: SplitText, SplitJson, SplitXml, MergeContent, SplitContent и т. Д.
HTTP-процессоры
Эти процессоры работают с вызовами HTTP и HTTPS. Некоторые из процессоров, которые относятся к этой категории: InvokeHTTP, PostHTTP, ListenHTTP и т. Д.
Процессоры AWS
Процессоры AWS отвечают за взаимодействие с системой веб-сервисов Amazon. Некоторые из процессоров, которые относятся к этой категории, — это GetSQS, PutSNS, PutS3Object, FetchS3Object и т. Д.