Интеграция Elastic Beanstalk, Docker и CircleCI для автоматического развертывания

Мы запускаем некоторые из наших сервисов в контейнерах Docker под Elastic Beanstalk (EB) и используем CircleCI для нашего цикла CI. EB, Docker и CircleCI прекрасно интегрируются для автоматического развертывания.

Довольно легко настроить все сервисы для совместной работы. В этом посте я кратко излагаю шаги для этого.

О приложениях и версиях EB

Elastic Beanstalk имеет концепции приложений, сред и версий приложений. Автоматические шаги, которые я описываю здесь, вплоть до создания новой версии приложения в EB. Фактическое развертывание выполняется вручную с использованием интерфейса управления Elastic Beanstalk. Я тоже это описываю.

Сделать этот последний шаг автоматически легко, и я добавлю пост об этом в будущем.

Я не собираюсь описывать цикл CI (тестирование, автоматизация и т. Д.). Это совершенно другая, очень важная тема, но она выходит за рамки этого поста. Подключение GitHub к circleci также выходит за рамки этого поста.

Архитектура

Мне нужно интегрировать четыре разных сервиса:

• circleci — сервис непрерывной интеграции (и развертывания).
• Докер-хаб — это то место, куда загружаются изображения Docker.
• AWS — Elastic Beanstalk (EB) , сервис Amazon, который хорошо интегрируется с Docker.
• AWS S3 . Сервис хранения Amazon.

Основной поток

Все начинается с push в GitHub (который я не включил в список выше). Как только мы что-то добавляем в GitHub, запускается circleci и запускается на основе circle.ymlфайла. CI создаст образ Docker и загрузит его в Docker-hub. Мы используем частный репозиторий. Следующим шагом CI загрузит специальный файл json на S3. Этот файл сообщит EB, откуда взять изображение, изображение и другие параметры. В качестве последнего шага, для доставки, он создаст новую версию приложения в EB.

Диаграмма процесса

CI Docker EB Развертывание Архитектура высокого уровня

Описание и схема выше относятся к части развертывания от CI (GitHub) до AWS (EB). Это не описывает последнюю часть для развертывания новой версии приложения в EB. Я опишу это позже в этом посте.

права доступа

В посте описывается, как работать с частным репозиторием в Docker Hub. Чтобы работать с закрытым репозиторием, необходимо установить несколько разрешений.

• Circleci должен уметь:
  
  1. Загрузить изображение в Docker-Hub
  2. Загрузить файл JSON в корзину в S3
  3. Вызовите команду AWS в Elastic Benastalk (создайте новую версию приложения)
• AWS EB должен уметь:
  
  1. Извлечь (получить / список) данные из корзины S3
  2. Вытащите изображение из Docker-Hub

Я пропускаю часть создания пользователя в GitHub, Circleci, Docker-Hub и AWS.

Аутентификация Docker

Прежде чем мы настроим аутентификацию, нам нужно войти в Docker и создать файл dockercfg.

файл dockercfg

Docker имеет специальный файл конфигурации, обычно называемый .dockercfg. Нам нужно создать этот файл для пользователя, у которого есть права загружать изображения в docker-hub и загружать изображения.
Чтобы создать его, вам нужно выполнить следующую команду:
docker login
Эта команда создаст файл в ~ / .docker / .dockercfg. Если вы хотите создать этот файл для другого электронного письма (пользователя), используйте -eопцию. Проверьте: docker login doc
Внимание!
Формат файла отличается для Docker версий 1.6 и 1.7. В настоящее время нам нужно использовать формат 1.6. В противном случае AWS не сможет подключиться к хранилищу.

«Старая» версия, Docker 1.6

{
  "https://index.docker.io/v1/": {
    "auth": "AUTH_KEY",
    "email": "DOCKER_EMAIL"
  }
}

{
  "auths": {
    "https://index.docker.io/v1/": {
      "auth": "AUTH_KEY",
      "email": "DOCKER_EMAIL"
    }
  }
}

commands:
  - |
    cat > ~/.dockercfg << EOF
    {
      "https://index.docker.io/v1/": {
        "auth": "$DOCKER_AUTH",
        "email": "$DOCKER_EMAIL"
      }
    }
    EOF

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt1443479777000",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::MY_DEPLOY_BUCKET/*"
            ]
        },
        {
            "Sid": "Stmt1443479924000",
            "Effect": "Allow",
            "Action": [
                "elasticbeanstalk:CreateApplicationVersion"
            ],
            "Resource": [
                "arn:aws:elasticbeanstalk:THE_EB_REGION:MY_ACCOUNT:applicationversion/*"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt1443508794000",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::MY_DEPLOY_BUCKET",
                "arn:aws:s3:::MY_DEPLOY_BUCKET/*"
            ]
        }
    ]
}

machine:
  services:
# This is a Docker deployment
    - docker
  environment:
# Setting the tag for Docker-hub
    TAG: $CIRCLE_BRANCH-$CIRCLE_SHA1
# MY_IMAGE_NAME is hard coded in this file. The project’s environment variables do not pass at this stage.
    DOCKER_IMAGE: MY_ORGANIZATION/MY_IMAGE_NAME:$CIRCLE_BRANCH-$CIRCLE_SHA1

deployment:
# An example for on environment
  staging:
# The ‘automatic-.*’ is hook so we can automatically deploy from different branches.
# Usually we deploy automatically after a pull-request is merged to master.
    branch: [master, /automatic-.*/]
# This is our way for setting docker cfg credentials. We set project’s environment variables with the values.
    commands:
      - |
          cat > ~/.dockercfg << EOF
          {
              "https://index.docker.io/v1/": {
                  "auth": "$DOCKER_AUTH",
                  "email": "$DOCKER_EMAIL"
              }
          }
          EOF
# Sample for RoR project. Not relevant specifically to Docker.
      - bundle package --all
# Our Dockerfile.app is located under directory: docker-images
      - docker build -t $DOCKER_IMAGE -f docker-images/Dockerfile.app .
      - docker push $DOCKER_IMAGE
# Calling script for uploading JSON descriptor file
      - sh ./create_docker_run_file.sh $TAG
# Calling script for setting new application version in AWS EB
      - sh ./upload_image_to_elastcbeanstalk.sh $TAG 

{
  "AWSEBDockerrunVersion": "1",
  "Authentication": {
    "Bucket": "<DEPLOYMENT_BUCKET>",
    "Key": "<AUTHENTICATION_KEY>"
  },
  "Image": {
    "Name": “MY_ORGANIZATION/<IMAGE_NAME>:<TAG>",
    "Update": "true"
  },
  "Ports": [
    {
      "ContainerPort": "<EXPOSED_PORTS>"
    }
  ]
}

#! /bin/bash
DOCKER_TAG=$1

# Prefix of file name is the tag.
DOCKERRUN_FILE=$DOCKER_TAG-Dockerrun.aws.json

# Replacing tags in the file and creating a file.
sed -e "s/<TAG>/$DOCKER_TAG/" -e "s/<DEPLOYMENT_BUCKET>/$DEPLOYMENT_BUCKET/" -e "s/<IMAGE_NAME>/$IMAGE_NAME/" -e "s/<EXPOSED_PORTS>/$EXPOSED_PORTS/" -e "s/<AUTHENTICATION_KEY>/$AUTHENTICATION_KEY/" < Dockerrun.aws.json.template > $DOCKERRUN_FILE

S3_PATH="s3://$DEPLOYMENT_BUCKET/$BUCKET_DIRECTORY/$DOCKERRUN_FILE"
# Uploading json file to $S3_PATH
aws s3 cp $DOCKERRUN_FILE $S3_PATH 

#! /bin/bash

DOCKER_TAG=$1
DOCKERRUN_FILE=$DOCKER_TAG-Dockerrun.aws.json
EB_BUCKET=$DEPLOYMENT_BUCKET/$BUCKET_DIRECTORY

# Run aws command to create a new EB application with label
aws elasticbeanstalk create-application-version --region=$REGION --application-name $AWS_APPLICATION_NAME 
    --version-label $DOCKER_TAG --source-bundle S3Bucket=$DEPLOYMENT_BUCKET,S3Key=$BUCKET_DIRECTORY/$DOCKERRUN_FILE