Процессоры Apache NiFi являются основными блоками создания потока данных. Каждый процессор имеет разные функциональные возможности, что способствует созданию выходного потокового файла. Поток данных, показанный на изображении ниже, извлекает файл из одного каталога с использованием процессора GetFile и сохраняет его в другом каталоге с помощью процессора PutFile.
Получить файл
Процесс GetFile используется для извлечения файлов определенного формата из определенного каталога. Он также предоставляет пользователю другие возможности для большего контроля при извлечении. Мы обсудим это в разделе свойств ниже.
Настройки GetFile
Ниже приведены различные настройки процессора GetFile —
название
В настройке «Имя» пользователь может определить любое имя для процессоров в соответствии с проектом или тем, что делает имя более значимым.
включить
Пользователь может включить или отключить процессор, используя этот параметр.
Длительность штрафа
Этот параметр позволяет пользователю добавить длительность штрафного времени в случае сбоя потока файла.
Продолжительность урожая
Этот параметр используется для указания времени выхода для процессора. В этот период процесс не запланирован снова.
Уровень бюллетеня
Этот параметр используется для указания уровня журнала этого процессора.
Автоматически разорвать отношения
Здесь есть список проверок всех доступных отношений этого конкретного процесса. Установив флажки, пользователь может запрограммировать процессор на прекращение потока файла для этого события и не отправлять его дальше в потоке.
Планирование GetFile
Это следующие параметры планирования, предлагаемые процессором GetFile:
График стратегии
Вы можете либо запланировать процесс на основе времени, выбрав время или указанную строку CRON, выбрав опцию драйвера CRON.
Параллельные задачи
Эта опция используется для определения расписания одновременных задач для этого процессора.
выполнение
Пользователь может определить, запускать ли процессор во всех узлах или только в основном узле, используя эту опцию.
Расписание запуска
Он используется для определения стратегии, основанной на времени, или выражения CRON для стратегии, управляемой CRON.
Свойства GetFile
GetFile предлагает несколько свойств, как показано на рисунке ниже, а также обязательные свойства, такие как Входной каталог и фильтр файлов, для дополнительных свойств, таких как Path Filter и Maximum File Size. Пользователь может управлять процессом извлечения файлов, используя эти свойства.
GetFile Комментарии
Этот раздел используется для указания любой информации о процессоре.
PutFile
Процессор PutFile используется для хранения файла из потока данных в определенном месте.
Настройки PutFile
Процессор PutFile имеет следующие настройки —
название
В настройке «Имя» пользователь может определить любое имя для процессоров в соответствии с проектом или тем, что делает имя более значимым.
включить
Пользователь может включить или отключить процессор, используя этот параметр.
Длительность штрафа
Этот параметр позволяет пользователю добавить длительность штрафного времени в случае сбоя потока файла.
Продолжительность урожая
Этот параметр используется для указания времени выхода для процессора. За это время процесс не запланирован снова.
Уровень бюллетеня
Этот параметр используется для указания уровня журнала этого процессора.
Автоматически разорвать отношения
В этих настройках есть список проверок всех доступных взаимосвязей этого конкретного процесса. Установив флажки, пользователь может запрограммировать процессор на прекращение потока файла для этого события и не отправлять его дальше в потоке.
Планирование PutFile
Это следующие параметры планирования, предлагаемые процессором PutFile:
График стратегии
Вы можете запланировать процесс на основе времени, либо выбрав управляемый таймером, либо указав строку CRON, выбрав опцию драйвера CRON. Существует также экспериментальная стратегия Event Driven, которая запускает процессор при конкретном событии.
Параллельные задачи
Эта опция используется для определения расписания одновременных задач для этого процессора.
выполнение
Пользователь может определить, следует ли запускать процессор во всех узлах или только в основном узле, используя эту опцию.
Расписание запуска
Он используется для определения времени для стратегии, управляемой таймером, или выражения CRON для стратегии, управляемой CRON.
PutFile Properties
Процессор PutFile предоставляет такие свойства, как Directory, чтобы указать выходной каталог для передачи файлов, а другие — для управления передачей, как показано на рисунке ниже.
PutFile Комментарии
Этот раздел используется для указания любой информации о процессоре.