Как интегрировать MongoDB Atlas и сегмент с использованием MongoDB Stitch

Эта статья была первоначально опубликована на MongoDB . Спасибо за поддержку партнеров, которые делают возможным использование SitePoint.

Может быть довольно сложно связать несколько систем, API и сторонние сервисы. Недавно мы столкнулись именно с этой проблемой, когда хотели получить данные из сегмента в MongoDB, чтобы воспользоваться преимуществами встроенной аналитической функции MongoDB и богатым языком запросов. Используя некоторые умные инструменты, мы смогли сделать это менее чем за час — в первый раз.

Хотя этот пост является подробным, фактическая реализация должна занять около 20 минут. Я начну с представления наших персонажей ( какие инструменты мы использовали для этого), а затем мы рассмотрим, как мы это сделали.

Персонажи

Для сбора данных из различных источников, включая мобильные, веб-приложения, облачные приложения и серверы, разработчики обращаются к Сегменту с 2011 года. Сегмент объединяет все события, сгенерированные несколькими источниками данных, в один поток кликов. Затем вы можете перенаправить данные в более чем 200 интеграций одним нажатием кнопки. Такие компании, как DigitalOcean , New Relic , InVision и Instacart, полагаются на Сегмент для различных частей своих стратегий роста.

Для хранения данных, сгенерированных Сегментом, мы обращаемся к MongoDB Atlas — базе данных MongoDB как сервису. Атлас предлагает лучшее из MongoDB:

• Простой язык запросов, облегчающий работу с вашими данными
• Собственная репликация и разделение, чтобы гарантировать, что данные могут жить там, где это необходимо
• Гибкая модель данных, которая позволяет легко получать данные из различных источников без необходимости точно знать, как будут структурированы данные (их форма)

Все это упаковано в полностью управляемый сервис, созданный и управляемый той же командой, которая создает базу данных, что означает, что вы, как разработчик, действительно можете получить свой торт и съесть его тоже.

Последний символ — MongoDB Stitch , бессерверная платформа MongoDB. Stitch упрощает разработку и развертывание приложений благодаря простому и безопасному доступу к данным и услугам — ускоряет вывод приложений на рынок и снижает эксплуатационные расходы. Stitch позволяет нам реализовать логику на стороне сервера, которая соединяет сторонние инструменты, такие как Segment, с MongoDB, обеспечивая при этом оптимизацию всего, от безопасности до производительности.

Порядок действий

Мы собираемся пройти через следующие шаги. Если вы уже выполнили какое-либо из этих заданий, просто выбирайте нужные предметы, с которыми вам нужна помощь:

1. Настройка рабочей области Сегмент
2. Добавление библиотеки JavaScript сегмента в ваше веб-приложение — я также создал смехотворно простую HTML-страницу, которую вы можете использовать для тестирования
3. Отправка события в сегмент, когда пользователь нажимает кнопку
4. Регистрация в MongoDB Atlas
5. Создание кластера, так что ваши данные должны жить где-то
6. Создание приложения MongoDB Stitch, которое принимает данные из сегмента и сохраняет их в кластере MongoDB Atlas.

Хотя этот блог посвящен интеграции сегмента с MongoDB, описанный ниже процесс будет работать с другими API и веб-сервисами. Присоединяйтесь к сообществу Slack и задавайте вопросы, если вы пытаетесь следовать другим сервисам.

Каждый раз, когда Сегмент видит новые данные, веб-крючок запускает запрос HTTP Post в Stitch. Затем функция Stitch обрабатывает аутентификацию запроса и, не выполняя никаких манипуляций с данными, сохраняет тело запроса непосредственно в базе данных — готово для дальнейшего анализа.

Настройка рабочего пространства в сегменте

Зайдите на Segment.com и зарегистрируйтесь. После завершения Segment автоматически создаст для вас рабочее пространство. Рабочие пространства позволяют вам сотрудничать с членами команды, управлять разрешениями и обмениваться источниками данных со всей вашей командой. Нажмите на рабочее пространство, которое вы только что создали.

Чтобы начать сбор данных в вашем рабочем пространстве, нам нужно добавить источник. В этом случае я собираю данные с веб-сайта, поэтому я выберу эту опцию, и на следующем экране Сегмент добавит источник JavaScript в мое рабочее пространство. Любые данные, которые поступают с нашего сайта, будут отнесены к этому источнику. В источнике есть синяя переключающая ссылка, по которой я могу получить код, который нужно добавить на мой сайт, чтобы он мог отправлять данные в сегмент. Обратите внимание на это, так как оно понадобится нам в ближайшее время.

 analytics.track("Favorited", {
        itemId: this.id,
        itemName: itemName
      });

 const signature = payload.headers['X-Signature'];

 const digest = utils.crypto.hmac(payload.body.text(), context.values.get("segment_shared_secret"), "sha1", "hex");

 if (digest == signature) {
    // Request is valid
} else {
    // Request is invalid
    console.log("Request is invalid");
}

 let mongodb = context.services.get("mongodb-atlas");

 let events = mongodb.db("segment").collection("events");

 events.insertOne(body);

 exports = function(payload) {

  var queryArg = payload.query.arg || '';
  var body = {};

  if (payload.body) {
    body = JSON.parse(payload.body.text());
  }

  // Get x-signature header and create digest for comparison
  const signature = payload.headers['X-Signature'];
  const digest = utils.crypto.hmac(payload.body.text(), 
    context.values.get("segment_shared_secret"), "sha1", "hex");

  //Only write the data if the digest matches Segment's x-signature!
  if (digest == signature) {

    let mongodb = context.services.get("mongodb-atlas");

    // Set the collection up to write data
    let events = mongodb.db("segment").collection("events");

    // Write the data
    events.insertOne(body);

  } else  {
    console.log("Digest didn't match");
  }

  return queryArg + ' ' + body.msg;
};

 https://webhooks.mongodb-stitch.com/api/client/v2.0/app/segmentintegration/service/SegmentHTTP/incoming_webhook/webhook0

 https://webhooks.mongodb-stitch.com/api/client/v2.0/app/segmentintegration/service/SegmentHTTP/incoming_webhook/webhook0

 https://webhooks.mongodb-stitch.com/api/client/v2.0/app/segmentintegration/service/SegmentHTTP/incoming_webhook/webhook0?secret=PUBLIC_SECRET