Logstash — Преобразование журналов

Logstash предлагает различные плагины для преобразования анализируемого журнала. Эти плагины могут добавлять, удалять и обновлять поля в журналах для лучшего понимания и запросов в системах вывода.

Мы используем Mutate Plugin для добавления имени пользователя в каждую строку входного журнала.

Установите плагин Mutate Filter

Установить плагин мутированного фильтра; мы можем использовать следующую команду.

>Logstash-plugin install Logstash-filter-mutate

logstash.conf

В этом конфигурационном файле плагин Mutate добавляется после Aggregate Plugin для добавления нового поля.

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input.log"
   }
} 
filter {
   grok {
      match => [ "message", "%{LOGLEVEL:loglevel} -
         %{NOTSPACE:taskid} - %{NOTSPACE:logger} -
         %{WORD:label}( - %{INT:duration:int})?" ]
   }
   if [logger] == "TRANSACTION_START" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] = 0"
         map_action => "create"
      }
   }
   if [logger] == "SQL" {
      aggregate {
         task_id => "%{taskid}"
         code => "map['sql_duration'] ||= 0 ; 
            map['sql_duration'] += event.get('duration')"
      }
   }
   if [logger] == "TRANSACTION_END" {
      aggregate {
         task_id => "%{taskid}"
         code => "event.set('sql_duration', map['sql_duration'])"
         end_of_task => true
         timeout => 120
      }
   }
   mutate {
      add_field => {"user" => "tutorialspoint.com"}
   }
}
output {
   file {
      path => "C:/tpwork/logstash/bin/log/output.log"
   }
}

Запустите Logstash

Мы можем запустить Logstash с помощью следующей команды.

>logstash –f logstash.conf

input.log

Следующий блок кода показывает входные данные журнала.

INFO - 48566 - TRANSACTION_START - start
INFO - 48566 - SQL - transaction1 - 320
INFO - 48566 - SQL - transaction1 - 200
INFO - 48566 - TRANSACTION_END - end

output.log

Вы можете видеть, что есть новое поле с именем «user» в выходных событиях.