Учебники

Apache Flume — Окружающая среда

Март 22, 2019

Мы уже обсуждали архитектуру Flume в предыдущей главе. В этой главе мы рассмотрим, как загрузить и настроить Apache Flume.

Прежде чем продолжить, вам необходимо иметь среду Java в вашей системе. Прежде всего, убедитесь, что в вашей системе установлена ​​Java. Для некоторых примеров в этом руководстве мы использовали Hadoop HDFS (в качестве приемника). Поэтому мы рекомендуем вам установить Hadoop вместе с Java. Для получения дополнительной информации перейдите по ссылке — http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm.

Установка Flume

Прежде всего, загрузите последнюю версию программного обеспечения Apache Flume с веб-сайта https://flume.apache.org/ .

Шаг 1

Откройте сайт. Нажмите на ссылку для скачивания в левой части домашней страницы. Вы попадете на страницу загрузки Apache Flume.

Установка Flume

Шаг 2

На странице загрузки вы можете увидеть ссылки на двоичные и исходные файлы Apache Flume. Нажмите на ссылку apache-flume-1.6.0-bin.tar.gz

Вы будете перенаправлены на список зеркал, где вы можете начать загрузку, щелкнув любое из этих зеркал. Таким же образом вы можете загрузить исходный код Apache Flume, нажав apache-flume-1.6.0-src.tar.gz .

Шаг 3

Создайте каталог с именем Flume в том же каталоге, где были установлены каталоги установки Hadoop , HBase и другого программного обеспечения (если вы его уже установили), как показано ниже. 

$ mkdir Flume

Шаг 4

Извлеките загруженные файлы tar, как показано ниже. 

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Шаг 5

Переместите содержимое файла apache- flume-1.6.0-bin.tar в созданный ранее каталог Flume, как показано ниже. (Предположим, мы создали каталог Flume для локального пользователя с именем Hadoop.) 

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Конфигурирование Flume

Чтобы настроить Flume, нам нужно изменить три файла: flume-env.sh, flumeconf.properties и bash.rc.

Установка пути / пути к классам

В файле .bashrc задайте домашнюю папку, путь и путь к классу для Flume, как показано ниже.

установка пути

Папка конф

Если вы откроете папку conf Apache Flume, у вас будут следующие четыре файла:

  • желоб-conf.properties.template,
  • желоб-env.sh.template,
  • flume-env.ps1.template и
  • log4j.properties.

Папка конф

Теперь переименуйте

  • файл flume -conf.properties.template как файл flume-conf.properties и

  • flume-env.sh.template как flume-env.sh

файл flume -conf.properties.template как файл flume-conf.properties и

flume-env.sh.template как flume-env.sh

flume-env.sh

Откройте файл flume-env.sh и установите JAVA_Home в папку, где в вашей системе установлена ​​Java.

flume-env.sh

Проверка установки

Проверьте установку Apache Flume, просмотрев папку bin и введя следующую команду. 

$ ./flume-ng

Если вы успешно установили Flume, вы получите подсказку Flume, как показано ниже.

43
Share: