Logstash — это инструмент, основанный на шаблонах фильтров / каналов для сбора, обработки и генерации журналов или событий. Это помогает в централизации и в режиме реального времени анализ журналов и событий из разных источников.
Logstash написан на языке программирования JRuby, который работает на JVM, поэтому вы можете запускать Logstash на разных платформах. Он собирает различные типы данных, такие как журналы, пакеты, события, транзакции, данные временной метки и т. Д., Практически из любого типа источника. Источником данных могут быть социальные данные, электронная коммерция, новостные статьи, CRM, игровые данные, веб-тренды, финансовые данные, Интернет вещей, мобильные устройства и т. Д.
Основные характеристики Logstash
Основные характеристики Logstash следующие:
-
Logstash может собирать данные из разных источников и отправлять нескольким адресатам.
-
Logstash может обрабатывать все типы данных журналов, таких как журналы Apache, журналы событий Windows, данные по сетевым протоколам, данные из стандартного ввода и многие другие.
-
Logstash также может обрабатывать запросы http и данные ответов.
-
Logstash предоставляет множество фильтров, которые помогают пользователю находить больше смысла в данных путем их анализа и преобразования.
-
Logstash также может быть использован для обработки данных датчиков в Интернете вещей.
-
Logstash с открытым исходным кодом и доступен под лицензией Apache версии 2.0.
Logstash может собирать данные из разных источников и отправлять нескольким адресатам.
Logstash может обрабатывать все типы данных журналов, таких как журналы Apache, журналы событий Windows, данные по сетевым протоколам, данные из стандартного ввода и многие другие.
Logstash также может обрабатывать запросы http и данные ответов.
Logstash предоставляет множество фильтров, которые помогают пользователю находить больше смысла в данных путем их анализа и преобразования.
Logstash также может быть использован для обработки данных датчиков в Интернете вещей.
Logstash с открытым исходным кодом и доступен под лицензией Apache версии 2.0.
Основные понятия Logstash
Ключевые понятия Logstash следующие:
Объект события
Это основной объект в Logstash, который инкапсулирует поток данных в конвейере Logstash. Logstash использует этот объект для хранения входных данных и добавления дополнительных полей, созданных на этапе фильтрации.
Logstash предлагает разработчикам Event API для управления событиями. В этом руководстве это событие именуется различными именами, такими как «Событие регистрации данных», «Событие журнала», «Данные журнала», «Входные данные журнала», «Выходные данные журнала» и т. Д.
Трубопровод
Он состоит из этапов потока данных в Logstash от входа до выхода. Входные данные вводятся в конвейер и обрабатываются в форме события. Затем отправляет в выходной пункт назначения в желаемом формате пользователя или конечной системы.
вход
Это первый этап в конвейере Logstash, который используется для получения данных в Logstash для дальнейшей обработки. Logstash предлагает различные плагины для получения данных с разных платформ. Некоторые из наиболее часто используемых плагинов — File, Syslog, Redis и Beats.
Фильтр
Это средняя стадия Logstash, где происходит фактическая обработка событий. Разработчик может использовать предопределенные шаблоны регулярных выражений Logstash для создания последовательностей, позволяющих различать поля в событиях и критерии для принятых входных событий.
Logstash предлагает различные плагины, которые помогают разработчику анализировать и преобразовывать события в желаемую структуру. Некоторые из наиболее часто используемых плагинов фильтров — Grok, Mutate, Drop, Clone и Geoip.
Выход
Это последний этап в конвейере Logstash, где выходные события могут быть отформатированы в структуру, требуемую системами назначения. Наконец, он отправляет выходное событие после завершения обработки в место назначения с помощью плагинов. Некоторые из наиболее часто используемых плагинов — Elasticsearch, File, Graphite, Statsd и т. Д.
Преимущества Logstash
Следующие пункты объясняют различные преимущества Logstash.
-
Logstash предлагает последовательности шаблонов регулярных выражений для идентификации и анализа различных полей в любом входном событии.
-
Logstash поддерживает различные веб-серверы и источники данных для извлечения данных регистрации.
-
Logstash предоставляет несколько плагинов для анализа и преобразования данных журналов в любой пользовательский формат.
-
Logstash централизован, что облегчает обработку и сбор данных с разных серверов.
-
Logstash поддерживает множество баз данных, сетевых протоколов и других сервисов в качестве источника назначения для регистрации событий.
-
Logstash использует протокол HTTP, который позволяет пользователю обновлять версии Elasticsearch без необходимости обновлять Logstash на этапе блокировки.
Logstash предлагает последовательности шаблонов регулярных выражений для идентификации и анализа различных полей в любом входном событии.
Logstash поддерживает различные веб-серверы и источники данных для извлечения данных регистрации.
Logstash предоставляет несколько плагинов для анализа и преобразования данных журналов в любой пользовательский формат.
Logstash централизован, что облегчает обработку и сбор данных с разных серверов.
Logstash поддерживает множество баз данных, сетевых протоколов и других сервисов в качестве источника назначения для регистрации событий.
Logstash использует протокол HTTP, который позволяет пользователю обновлять версии Elasticsearch без необходимости обновлять Logstash на этапе блокировки.
Недостатки Logstash
Следующие пункты объясняют различные недостатки Logstash.
-
Logstash использует http, что отрицательно влияет на обработку данных журналирования.
-
Работа с Logstash иногда может быть немного сложной, так как требует хорошего понимания и анализа входных данных регистрации.
-
Плагины фильтров не являются общими, поэтому пользователю может потребоваться найти правильную последовательность шаблонов, чтобы избежать ошибок при разборе.
Logstash использует http, что отрицательно влияет на обработку данных журналирования.
Работа с Logstash иногда может быть немного сложной, так как требует хорошего понимания и анализа входных данных регистрации.
Плагины фильтров не являются общими, поэтому пользователю может потребоваться найти правильную последовательность шаблонов, чтобы избежать ошибок при разборе.
В следующей главе мы поймем, что такое стек ELK и как он помогает Logstash.