Статьи

Анализ журнала 101 с помощью Apache Flink, Spring Boot и ActiveMQ

Анализ журналов очень полезен и позволяет организациям получать информацию из файлов журналов.

В этом посте (который является руководством для начинающих) я расскажу, как настроить «очередь сообщений» в Spring Boot, а затем использовать ее в качестве источника потока с помощью Flink. Этот шаблон учитывает системы с высокой степенью развязки, где один компонент делегирует ответственность за дальнейшую обработку другому компоненту асинхронным способом.

Весь код в этом примере доступен в GitHub .

Конвейер данных, используемый в этом примере:

1. Настройка Apache Log File Simulator 

Для файлов журналов я использовал очень удобную утилиту для генерации поддельных файлов Apache . После его установки выполните следующую команду, чтобы запустить генератор файлов в бесконечном режиме 


Оболочка