9) FLUME

Шаг 4)  Заполните данные приложения, указав название приложения, описание и веб-сайт. Вы можете обратиться к примечаниям, приведенным под каждым полем ввода.

Шаг 5) Прокрутите страницу вниз и примите условия, отметив  «Да, я согласен»  и нажмите кнопку «Создать приложение в Твиттере».

Шаг 6)  В окне вновь созданного приложения перейдите на вкладку  «Ключи API»,  прокрутите страницу вниз и нажмите кнопку  «Создать мой токен доступа».

Шаг 7)  Обновите страницу.

Шаг 8)  Нажмите  «Проверить OAuth» . Это покажет  «OAuth»  настройки приложения.

Шаг 9)  Измените  файл «flume.conf», используя эти  настройки OAuth . Шаги для изменения  ‘flume.conf’  приведены ниже.

Нам необходимо скопировать ключ Consumer, секрет Consumer, токен Access и секрет токена Access для обновления «flume.conf».

Примечание. Эти значения принадлежат пользователю и, следовательно, являются конфиденциальными, поэтому не должны использоваться совместно.

Изменить файл ‘flume.conf’

sudo gedit flume.conf

MyTwitAgent.sources = Twitter
MyTwitAgent.channels = MemChannel
MyTwitAgent.sinks = HDFS
MyTwitAgent.sources.Twitter.type = flume.mytwittersource.MyTwitterSourceForFlume
MyTwitAgent.sources.Twitter.channels = MemChannel 
MyTwitAgent.sources.Twitter.consumerKey = <Copy consumer key value from Twitter App>
MyTwitAgent.sources.Twitter.consumerSecret = <Copy consumer secret value from Twitter App>
MyTwitAgent.sources.Twitter.accessToken = <Copy access token value from Twitter App>
MyTwitAgent.sources.Twitter.accessTokenSecret = <Copy access token secret value from Twitter App>
MyTwitAgent.sources.Twitter.keywords = guru99
MyTwitAgent.sinks.HDFS.channel = MemChannel
MyTwitAgent.sinks.HDFS.type = hdfs
MyTwitAgent.sinks.HDFS.hdfs.path = hdfs://localhost:54310/user/hduser/flume/tweets/
MyTwitAgent.sinks.HDFS.hdfs.fileType = DataStream
MyTwitAgent.sinks.HDFS.hdfs.writeFormat = Text
MyTwitAgent.sinks.HDFS.hdfs.batchSize = 1000
MyTwitAgent.sinks.HDFS.hdfs.rollSize = 0
MyTwitAgent.sinks.HDFS.hdfs.rollCount = 10000
MyTwitAgent.channels.MemChannel.type = memory
MyTwitAgent.channels.MemChannel.capacity = 10000
MyTwitAgent.channels.MemChannel.transactionCapacity = 1000

Шаг 2) Также установите  TwitterAgent.sinks.HDFS.hdfs.path,  как показано ниже,

TwitterAgent.sinks.HDFS.hdfs.path = hdfs: // <имя хоста>: <номер порта> / <домашний каталог HDFS> / flume / tweets /

Чтобы узнать  <имя хоста> ,  <номер порта>  и  <домашний каталог HDFS>  , посмотрите значение параметра  ‘fs.defaultFS’,  установленное в  $ HADOOP_HOME / etc / hadoop / core-site.xml

Шаг 3) Чтобы сбросить данные в HDFS, например, когда они появятся, удалите запись ниже, если она существует,

TwitterAgent.sinks.HDFS.hdfs.rollInterval = 600

Пример: потоковая передача данных Twitter с использованием Flume

JAVA_HOME=<Installation directory of Java>

FLUME_CLASSPATH="<Flume Installation Directory>/lib/MyTwitterSourceForFlume.jar"

Шаг 2) Запустите Hadoop

$HADOOP_HOME/sbin/start-dfs.sh

$HADOOP_HOME/sbin/start-yarn.sh

Шаг 3)  Два файла JAR из архива Flume не совместимы с Hadoop 2.2.0. Итак, нам нужно выполнить следующие шаги, чтобы сделать Flume совместимым с Hadoop 2.2.0.

а.  Переместите  protobuf-java-2.4.1.jar  из  «<Каталог установки Flume> / lib».

Перейдите в  «<Каталог установки Flume> / lib»

cd <каталог установки Flume> / lib

sudo mv protobuf-java-2.4.1.jar ~/

б.  Найдите для файла JAR ‘guava’ как ниже

find . -name "guava*"

Переместите  guava-10.0.1.jar  из  «<Каталог установки Flume> / lib».

sudo mv guava-10.0.1.jar ~/

с. Загрузите  guava-17.0.jar  с  http://mvnrepository.com/artifact/com.google.guava/guava/17.0

Теперь скопируйте этот скачанный файл jar в  «<каталог установки Flume> / lib»

Шаг 4)  Перейдите в  «<Каталог установки Flume> / bin»  и запустите Flume как

./flume-ng agent -n MyTwitAgent -c conf -f <Flume Installation Directory>/conf/flume.conf

Окно командной строки, в котором происходит извлечение информации.

Из сообщения окна команды мы видим, что вывод записывается в  каталог / user / hduser / flume / tweets /  .

Теперь откройте этот каталог с помощью веб-браузера.

Шаг 5)  Чтобы увидеть результат загрузки данных, с помощью браузера откройте  http: // localhost: 50070 /  и просмотрите файловую систему, затем перейдите в каталог, куда были загружены данные, то есть

<Домашний каталог HDFS> / flume / твиты /