Статьи

Использование нескольких дисков для ускорения запросов Couchbase Analytics

Типичные специальные аналитические запросы должны обрабатывать гораздо больше данных, чем может поместиться в памяти. Следовательно, эти запросы, как правило, связаны с вводом / выводом. Когда в Couchbase 6.0 была представлена ​​служба аналитики, она позволяла пользователям указывать несколько «путей к дискам аналитики» во время инициализации узла. В этой статье мы выполним пару экспериментов на разных экземплярах в облаке, чтобы показать, как правильно настроить несколько «путей к дискам Google Analytics» и как эту функцию можно использовать для ускорения запросов Google Analytics.


Рисунок 1: Указание путей к дискам Analytics во время инициализации узла

Во время инициализации узла любой уникальный путь к файловой системе может использоваться как «Путь к диску Analytics» независимо от фактического физического устройства хранения, в котором находится этот путь. Можно использовать несколько путей, которые находятся на одном устройстве. Данные в службе Google Analytics распределяются по всем указанным «путям к дискам Google Analytics» во всех узлах, на которых есть служба Google Analytics. Например, если в кластере есть два узла со службой Google Analytics, и на одном из узлов было указано 4 «Пути диска Analytics», а на другом узле было 8 «Пути диска Analytics», каждый созданный набор данных в Analytics будет иметь в общей сложности 12 разделов. (разделы данных).

Во время выполнения запроса механизм запросов MPP Analytics пытается одновременно считывать и обрабатывать данные из всех разделов данных. Поэтому операции ввода-вывода в секунду (IOPS) реального физического диска, на котором находится каждый раздел данных, играют основную роль в определении времени выполнения запроса.

Вам также может понравиться: Распределенные транзакции ACID с несколькими документами в Couchbase

Современные устройства хранения, такие как твердотельные накопители, имеют гораздо более высокие IOPS и могут лучше справляться с одновременным чтением по сравнению с жесткими дисками. Следовательно, наличие одного раздела данных на устройствах с высоким IOPS не будет полностью использовать их возможности. Чтобы упростить настройку типичного случая узла, имеющего одно современное устройство хранения, служба Google Analytics автоматически создает несколько разделов данных в одном и том же устройстве хранения, если и только если во время инициализации узла указан один «путь диска Analytics». Количество автоматически созданных разделов данных основано на этой формуле:


Простой текст