Сбор данных контейнера Docker с помощью Fluentd

Сегодня для нас большая честь доставить вам гостевую должность Киото Тамура из Treasure Data  . Киото — евангелист-разработчик в  Treasure Data  и один из сопровождающих Fluentd, сборщика данных с открытым исходным кодом для упрощения и масштабирования управления журналами. Математик и бывший количественный аналитик, он любит собирать и анализировать данные. Сегодня Kiyoto проведет вас через создание двух плагинов Fluentd, которые экспортируют метрики систем для каждого контейнера из  Docker  в Librato. Как сопровождающий Fluentd, он делает это легко; интеграция Docker с Librato в сотни строк кода.

Что такое Докер?

Docker — чрезвычайно популярная контейнерная технология с открытым исходным кодом для Linux. Первоначально разработанный при запуске PaaS dotCloud, он распространялся как лесной пожар. Тяжелые провайдеры IaaS, такие как Amazon, Google и IBM, объявили о поддержке Docker на своей платформе. RedHat делает Docker одним из самых ярких моментов последнего RHEL. Он провел свою первую пользовательскую конференцию и выпустил вер. 1 во время конференции. Docker, вероятно, самый популярный проект с открытым исходным кодом 2014 года.

По мере того, как все больше и больше людей начинают использовать Docker, мониторинг и инструментарий контейнеров становятся все более важными, особенно если вы работаете с приложениями внутри Docker. Итак, как бы вы это сделали?

В октябре прошлого года Джером Петаццони написал информативную статью в блоге о  метриках контейнера Docker . Исходя из этого, я решил создать плагин метрик Docker для Fluentd.

Что такое Fluentd?

Fluentd  — это сборщик данных с открытым исходным кодом для упрощения и масштабирования управления журналами . Общие случаи использования включают в себя:

• Агрегация системного журнала в  Elasticsearch
• Практически в реальном времени архивирование данных мобильных или веб-приложений в Amazon S3
• Сбор данных для бэкэнд-систем Big Data, таких как Hadoop

Fluentd поддерживает разнообразный ассортимент вариантов использования благодаря своей архитектуре плагинов. Написав немного кода на Ruby (Fluentd реализован на C и Ruby), можно добавлять новые источники данных (входы) и приемники (выходы). На момент написания статьи было добавлено более 300 пользовательских плагинов.

Для целей этой статьи я решил пойти дальше и добавить два плагина в экосистему Fluentd:

1. Плагин ввода для метрик контейнера Docker
2. Выходной плагин для Librato

Теперь давайте отправим собранные метрики в Librato. В мире Fluentd это равносильно написанию выходного плагина. Рабочий процесс написания выходного плагина выглядит следующим образом:

1. Реализуйте методы инициализации / настройки: эти методы позволяют авторам плагинов вводить специфичные для плагина параметры, такие как ключи API, конечные точки REST API, параметры времени ожидания и так далее.
2. Реализуйте метод «записи». Это метод, который записывает события Fluentd в систему назначения. В данном примере мы отправляем данные в Librato.

Благодаря хорошо документированной клиентской библиотеке Ruby Librato  ,  это было очень просто. Вот соответствующий фрагмент кода:

def configure(conf)
      super
      require 'librato/metrics'
      Librato::Metrics.authenticate @email, @apikey
      @queue = Librato::Metrics::Queue.new
    end
   
    def write(chunk)
      chunk.msgpack_each { |tag, time, record|
        missing_keys = [@measurement_key, @value_key, @source_key].select { |k| !record[k] }
        if missing_keys.length > 0
          log.warn "missing the required field(s) " + missing_keys.join(",")
          next
        end
        @queue.add(
          record[@measurement_key].to_s =>
            {
              :source => record[@source_key],
              :value => record[@value_key],
              :type => record[@type_key] || "gauge"
            })
      }
     
      @queue.submit
    end

@Queue  является очередью Librato , которая имеет отдельные события. Если не указано иное, метрикой по умолчанию является калибр (в отличие от счетчика). Затем события в очереди отправляются в Librato по HTTP. Что делать, если связь между Fluentd и Librato не работает? Не стоит беспокоиться. Fluentd буферизует данные  (как в памяти, так и на диске) и повторяет  попытку позже.

<source>
  type docker_metrics
  stats_interval 1m
</source>
<match docker.**>
    type librato
    email LIBRATO_EMAIL
    apikey LIBRATO_APIKEY
</match>