Статьи

Настройте сервисный домен Amazon Elasticsearch, используя VPC с VPN

Сентябрь 26, 2017

Многие сервисы, доступные в экосистеме AWS, на самом деле являются управляемыми сервисами. Они добавляются в экосистему, чтобы упростить управление даже самой сложной облачной инфраструктурой; обычно вы можете сосредоточиться на развертывании сервисов и приложений или сосредоточиться на развитии своего бизнеса, а не постоянно беспокоиться об инфраструктуре.

Вам также может понравиться: 23 полезных примера запросов Elasticsearch

Amazon Elasticsearch Service — хороший пример управляемого сервиса, который может быть очень удобным. Как следует из названия, Amazon ES разработан для упрощения использования Elasticsearch. В качестве управляемого сервиса Amazon ES берет на себя большую часть тяжелой работы, включая развертывание и масштабирование кластеров Elasticsearch.

Растущий инструмент

Одним из самых интересных обновлений в Amazon ES является поддержка виртуальных частных облаков . Настроить домен службы Elasticsearch теперь также можно в рамках VPC, при этом все внутренние коммуникации маршрутизируются соответствующим образом. Нет необходимости оставлять AWC VPC открытыми для внешних узлов. Этот подход также снижает определенные риски безопасности.

Пользовательский интерфейс остается простым, несмотря на сложность этого тоже. Вы можете создавать и настраивать домен Amazon ES непосредственно с консоли ES на панели управления AWS. Elasticsearch предназначен в первую очередь для структурированных данных, поэтому следующий шаг — загрузка данных в ваши экземпляры ES. Эту задачу также легко выполнить, особенно сейчас, когда платформа поддерживает более широкие возможности переноса данных.

Настройка экземпляра Amazon ES также может быть выполнена через API. Чтобы завершить настройку, вы получаете поддержку зон доступности, подсетей и других параметров, разработанных для тщательного управления сетью вокруг ваших экземпляров ES. Панель инструментов для ES даже содержит информацию о работоспособности кластера и общей производительности.

Amazon Elasticsearch с VPC и VPN

В зависимости от того, как настроена ваша архитектура, настройка домена службы Elasticsearch с использованием вашего VPC и VPN является отличным решением критических проблем, главным образом того факта, что вы хотите, чтобы ваш VPC оставался закрытым и недоступным для внешнего мира. В то же время вы сохраняете возможность открывать узлы для внешних пользователей или служб.

Тем не менее, вы не можете сделать как с Amazon ES и VPC. Вы должны настроить домен ES так, чтобы он был доступен тем или иным способом. То же самое верно, когда домены ES настроены для работы с VPN и туннелями к вашей облачной экосистеме.

Это на самом деле красота Amazon ES. Даже когда он открыт для внешнего доступа, не каждый может свободно использовать этот сервисный домен. Другие меры, такие как IAM и принятые вами политики безопасности, по-прежнему будут отслеживать и фильтровать трафик. Это означает, что внешние пользователи, которые не показывают достаточные учетные данные, будут по-прежнему заблокированы от доступа к вашему VPC.

Больше преимуществ, чтобы наслаждаться

Простота Amazon ES не единственное его большое преимущество. Настроить ES теперь легко благодаря шаблонам и другим пакетам, доступным на AWS CloudFormation. Получение данных также стало более эффективным с помощью масштабируемой (и высокодоступной) вычислительной мощности.

Например, вы можете использовать Amazon Kinesis Data Firehose для ввода данных. Поскольку Kinesis Data Firehose поддерживает автоматическое масштабирование и мониторинг пропускной способности, ввод данных может осуществляться без необходимости вручную увеличивать (и уменьшать) ваши экземпляры.

У нас также есть встроенная поддержка таких инструментов, как Logtash. Существуют дополнения и плагины, которые делают Elasticsearch очень гибким в качестве платформы. Фактически Amazon ES устраняет многие головные боли, с которыми сталкиваются разработчики и те, кто хочет рассматривать инфраструктуру как код.

Amazon ES — это удобный инструмент. Чем раньше вы начнете управлять своими конечными точками и скорректировать свою политику в соответствии с лучшими практиками, тем больше инструментов будет у вас в арсенале.

Следуйте приведенным ниже рекомендациям, чтобы настроить домен обслуживания Elasticsearch с использованием VPC с VPN. 

Настройка домена службы Amazon Elasticsearch с использованием VPC с помощью VPNSteps

  • Создание домена Elasticsearch в AWS. Используйте шаги, описанные здесь, чтобы подключиться к доменам Amazon Elasticsearch Service из Amazon VPC. (Охота, 2017)

Для настройки в нескольких зонах доступности нам нужно выбрать «Включить осведомленность о зоне».

Как только мы включим эту опцию, домен ES будет работать автоматически с минимум двумя узлами.

Когда вы создаете домен ES, AWS автоматически создает роль для подключения серверов EC2 к новому домену.

  • Кроме того, вам нужно создать отдельные группы безопасности для вашего домена ES в AWS и добавить все «Группы безопасности сервера» (которые нам нужны для передачи файлов журнала в домен) только с разрешенным портом 443, включая IP-адрес VPN.
  • Чтобы проверить соединение с вашего сервера, выполните команду:

Джава