Учебники

Apache NiFi — Создание потоков

Apache NiFi предлагает большое количество компонентов, которые помогают разработчикам создавать потоки данных для любых типов протоколов или источников данных. Чтобы создать поток, разработчик перетаскивает компоненты из строки меню на холст и соединяет их, щелкая и перетаскивая мышь из одного компонента в другой.

Как правило, NiFi имеет компонент слушателя в начале потока, такой как getfile, который получает данные из исходной системы. На другом конце находится компонент-передатчик, такой как putfile, и между ними есть компоненты, которые обрабатывают данные.

Например, давайте создадим поток, который берет пустой файл из одного каталога, добавляет некоторый текст в этот файл и помещает его в другой каталог.

Создание потока

  • Для начала перетащите значок процессора на холст NiFi и выберите процессор GetFile из списка.

  • Создайте входной каталог, например, c: \ inputdir.

  • Щелкните правой кнопкой мыши по процессору и выберите «Настроить», на вкладке свойств добавьте « Входной каталог» (c: \ inputdir), нажмите «Применить» и вернитесь на холст.

  • Перетащите значок процессора на холст и выберите процессор ReplaceText из списка.

  • Щелкните правой кнопкой мыши по процессору и выберите «Настроить». На вкладке свойств добавьте текст типа «Hello tutorialspoint.com» в текстовое поле «Значение замены» и нажмите «Применить».

  • Перейдите на вкладку «Настройки», установите флажок «Ошибка» справа и вернитесь на холст.

  • Подключите процессор GetFIle к ReplaceText в случае успеха.

  • Перетащите значок процессора на холст и выберите процессор PutFile из списка.

  • Создайте выходной каталог, например, c: \ outputdir .

  • Щелкните правой кнопкой мыши по процессору и выберите «Настроить». На вкладке свойств добавьте каталог (c: \ outputdir), нажмите «Применить» и вернитесь на холст.

  • Перейдите на вкладку «Настройки» и установите флажок «Ошибка и успех» справа, а затем вернитесь на холст.

  • Подключите процессор ReplaceText к PutFile в случае успеха.

  • Теперь запустите поток и добавьте пустой файл во входной каталог, и вы увидите, что он переместится в выходной каталог, и текст будет добавлен в файл.

Для начала перетащите значок процессора на холст NiFi и выберите процессор GetFile из списка.

Создайте входной каталог, например, c: \ inputdir.

Щелкните правой кнопкой мыши по процессору и выберите «Настроить», на вкладке свойств добавьте « Входной каталог» (c: \ inputdir), нажмите «Применить» и вернитесь на холст.

Перетащите значок процессора на холст и выберите процессор ReplaceText из списка.

Щелкните правой кнопкой мыши по процессору и выберите «Настроить». На вкладке свойств добавьте текст типа «Hello tutorialspoint.com» в текстовое поле «Значение замены» и нажмите «Применить».

Перейдите на вкладку «Настройки», установите флажок «Ошибка» справа и вернитесь на холст.

Подключите процессор GetFIle к ReplaceText в случае успеха.

Перетащите значок процессора на холст и выберите процессор PutFile из списка.

Создайте выходной каталог, например, c: \ outputdir .

Щелкните правой кнопкой мыши по процессору и выберите «Настроить». На вкладке свойств добавьте каталог (c: \ outputdir), нажмите «Применить» и вернитесь на холст.

Перейдите на вкладку «Настройки» и установите флажок «Ошибка и успех» справа, а затем вернитесь на холст.

Подключите процессор ReplaceText к PutFile в случае успеха.

Теперь запустите поток и добавьте пустой файл во входной каталог, и вы увидите, что он переместится в выходной каталог, и текст будет добавлен в файл.

Выполнив вышеуказанные шаги, разработчики могут выбрать любой процессор и другой компонент NiFi, чтобы создать подходящий поток для своей организации или клиента.