Настройка Кассандры с Приамом

Ранее я объяснял, как настроить Cassandra в AWS . Описанная настройка работает, но в некоторых случаях этого может быть недостаточно. Например, это не дает вам простой способ создавать и восстанавливать резервные копии, а добавление новых узлов основывается на специальном скрипте Python, который случайным образом выбирает начальное число.

Итак, теперь я собираюсь объяснить, как настроить Priam, вспомогательный инструмент Cassandra от Netflix.

Моя основная причина его настройки — функция резервного копирования / восстановления, которую он предлагает. Все другие способы создания резервных копий очень утомительны, и в Приаме реализованы важные биты — моментальные снимки и инкрементные резервные копии .

Приам, однако, немного сложно запустить. Руководство по установке не слишком детально и его нелегко найти (это последний, не сразу видимый элемент в вики). Во-первых, он имеет одну ветку на каждую версию Cassandra, поэтому вы должны проверить правильную ветку и собрать ее. Я тут же натолкнулся на проблему, поскольку их имена не позволяют eclipse импортировать проект gradle. В течение 24 часов я сообщил о 3 проблемах, что не идеально. Priam не поддерживает динамические имена SimpleDB и не позволяет переопределять связанные свойства через командную строку. Я надеюсь, что нет больших проблем. Те, с которыми я столкнулся, я исправил и сделал запрос на получение .

Как выглядит установка?

• Добавьте javaagent к параметрам JVM
• Запустите веб-сайт Priam
• Он автоматически заменяет большую часть файла cassandra.yaml, включая поставщика семян (т. Е. Как узел находит другие узлы в кластере)
• Беги Кассандра
• Он получает начальную информацию (которая хранится в AWS SimpleDB) и подключается к кластеру.

Я решил запустить файл военных действий с помощью автономной системы управления причалом, а не устанавливать tomcat. С точки зрения сценариев оболочки, основные биты выглядят так (в дополнение к сценарию оболочки в исходном посте, который запускается при инициализации узла):

BACKUP_BUCKET, PROPERTIES_DOMAIN и INSTANCE_DOMAIN предоставляются через скрипт CloudFormation (поскольку мы не можем знать точные имена заранее — особенно для SimpleDB). Обратите внимание, что эти свойства не будут работать в главном репо — я добавил их в свой запрос на извлечение.

Чтобы это работало, вам нужно создать два домена SimpleDB (например, CloudFormation). Возможно, вы могли бы заменить SimpleDB на какое-то другое хранилище данных (и не полагаться на AWS), но пока это выходит за рамки.

Результатом работы Priam будет то, что у вас есть узлы Cassandra в SimpleDB (вы можете просматривать его с помощью этого расширения Chrome, так как AWS не предлагает никакого пользовательского интерфейса), и, конечно, резервные копии будут автоматически создаваться в резервном хранилище S3.

Затем вы можете восстановить резервную копию, зарегистрировавшись на каждом узле и выполнив:

Вы указываете временной диапазон для восстановления. Все еще не идеально, так как можно надеяться на восстановление одним нажатием, но гораздо лучше, чем развертывание собственной инфраструктуры резервного копирования и восстановления.

Одно очень важное замечание — vnodes не поддерживаются. В моем исходном кластере по умолчанию было 256 vnodes на машину, а теперь его всего 1, потому что Priam не поддерживает ничего, кроме 1. Жаль, поскольку vnodes — рекомендуемый способ настройки Cassandra. Очевидно, Netflix не использует их, однако. Есть ветка незавершенного производства для этого, которая была заброшена 5 лет назад. К счастью, есть новый запрос на получение с поддержкой Vnode, который можно использовать вместе с моим запросом на получение из этой ветки .

Priam заменяет некоторые значения по умолчанию в Cassandra другими значениями, поэтому вы можете сравнить текущую настройку и недавно созданный файл cassandra.yaml. В целом он не чувствует себя готовым к суперпроизводству, но, очевидно, так оно и есть, поскольку Netflix использует его в производстве.