Учебники

Logstash — Фильтры

Октябрь 21, 2018

Logstash использует фильтры в середине конвейера между входом и выходом. Фильтры мер Logstash манипулируют и создают такие события, как Apache-Access . Многие плагины фильтров используются для управления событиями в Logstash. Здесь, в примере Logstash Aggregate Filter , мы фильтруем продолжительность каждой транзакции SQL в базе данных и вычисляем общее время.

Установка плагина Aggregate Filter

Установка плагина Aggregate Filter с помощью утилиты Logstash-plugin. Logstash-плагин представляет собой командный файл для окон в папке bin в Logstash. 

>logstash-plugin install logstash-filter-aggregate

logstash.conf

В этой конфигурации вы можете увидеть три оператора if для инициализации, увеличения и генерации общей продолжительности транзакции, то есть sql_duration . Агрегатный плагин используется для добавления sql_duration, присутствующего в каждом событии входного журнала. 

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input.log"
   }
} 
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - 
            %{NOTSPACE:taskid} - %{NOTSPACE:logger} - 
            %{WORD:label}( - %{INT:duration:int})?" 
      ]
   }
   if [logger] == "TRANSACTION_START" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] = 0"
         map_action => "create"
      }
   }
   if [logger] == "SQL" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] ||= 0 ;
            map['sql_duration'] += event.get('duration')"
      }
   }
   if [logger] == "TRANSACTION_END" {
      aggregate {
         task_id => "%{taskid}"
         code => "event.set('sql_duration', map['sql_duration'])"
         end_of_task => true
         timeout => 120
      }
   }
}
output {
   file {
      path => "C:/tpwork/logstash/bin/log/output.log"    
   }
}

Запустите Logstash

Мы можем запустить Logstash с помощью следующей команды. 

>logstash –f logstash.conf

input.log

Следующий блок кода показывает входные данные журнала. 

INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END - end

output.log

Как указано в файле конфигурации, последний оператор if, в котором находится регистратор, — TRANSACTION_END, который печатает общее время транзакции или sql_duration. Это было выделено желтым цветом в файле output.log.

65
Share: