Наш опыт создания крупномасштабной системы поиска журналов с использованием ElasticSearch

Get Mapping API

Чтобы получить определенную информацию о сопоставлении, вы можете использовать запрос в форме, показанной в коде 17 .

Код 17: запрос для получения сопоставления.

 $ curl -XGET 'http://localhost:9200/log-2012-12-27/hadoop/_mapping'

Удалить сопоставление API

Код 18 показывает пример удаления определенного отображения.

Код 18: Запрос на удаление сопоставления.

$ curl -XDELETE 'http://localhost:9200/log-2012-12-27/hadoop'

Как оптимизировать производительность

Память и количество открытых файлов

Если объем данных для поиска увеличивается, вам потребуется больше памяти. Когда вы запускаете ElasticSearch, вы сталкиваетесь со многими проблемами из-за использования памяти. В методе работы, рекомендованном сообществом ElasticSearch, при запуске сервера исключительно для ElasticSearch рекомендуется выделить только половину объема памяти для ElasticSearch и разрешить ОС использовать другую половину для системного кэша. Вы можете установить размер памяти, установив ES_HEAP_SIZEпеременную окружения или с помощью -Xmsи -Xmxиз виртуальной машины Java.

Код 19: выполнение с указанием размера кучи.

bin/ElasticSearch -Xmx=2G -Xms=2G

При использовании ElasticSearch вы будете OutOfMemoryчасто видеть ошибки. Эта ошибка возникает, когда кэш-память поля превышает максимальный размер кучи. Если вы измените настройку index.cache.field.typeс резидентного (по умолчанию) на мягкое , будет использоваться мягкая ссылка, а область кэша будет преимущественно GC , и эту проблему можно решить.

Код 20: Настройка типа кэша поля.

index.cache.field.type: soft

Если объем данных увеличивается, число файлов индекса также увеличивается. Это связано с тем, что Lucene, который используется ElasticSearch, управляет индексами в единицах сегментов . Иногда количество будет даже превышать количество MAX_OPENфайлов. По этой причине вам нужно изменить максимальный лимит открытого файла с помощью ulimitкоманды. Рекомендуемое значение — 32000-64000 , но иногда вам может потребоваться установить большее значение в зависимости от размера системы или данных.

Оптимизация индекса

NELO2 manages indexes by date. If indexes are managed by date, you can delete old logs that don’t need to be managed easily and quickly, as shown in Code 21. In this case, the overhead imposed on the system is smaller than when deleting logs by specifying the TTL value for each document.

Code 21: Deleting an Index.

$ curl -XDELETE 'http://localhost:9200/log-2012-10-01/'

If index optimization is performed, segments are incorporated. Using this method, you can enhance search performance. As index optimization can impose a burden on the system, it is better to perform it when the system is being used less.

Code 22: Index Optimization.

$ curl -XPOST 'http://localhost:9200/log-2012-10-01/_optimize'

Shards and Replicas

You can’t change the number of shards after setting it. For this reason, you need to decide this value carefully by taking the current number of nodes in the system and the number of nodes expected to be added in the future into account. For example, if there are 5 nodes and the number is expected to reach 10 in the future, it is recommended to set the number of shards as 10 from the beginning. If you set it as 5 in the beginning, you can add 5 more nodes later, but you won’t be able to use the added 5 nodes. If you set the number of replicas to 1, of course, you can utilize the added 5 nodes as nodes exclusively for replication.

If the number of shards increases, it is more advantageous to process a large amount of data because queries are distributed as much as the number of shards. But you need to set this value appropriately, because the performance could be deteriorated due to increasing traffic if the value is too high.

Configuring Cluster Topologies

The content of the configuration file of ElasticSearch is shown in Code 23 below. There are three types of nodes:

1. data node
   This does not act as the master, and only stores data. When it receives a request from a client, it searches data from shards or creates an index. 
2. master node
   It functions to maintain a cluster, and requests indexing or search to data nodes.  
3. search balancer node
   If it receives a search request, it requests data, gathers data and delivers the result.

You can have one node which will function both like a master and a data node. But if you use the three types of node separately, you can reduce the burden of the data node. In addition, if you configure the master node separately, you can improve the stability of a cluster. Also, you can reduce operation costs by using low-spec. server equipment for the master and search node.

Code 23: Settings Related to Topology.

# You can exploit these settings to design advanced cluster topologies.
#
# 1. You want this node to never become a master node, only to hold data.
#    This will be the "workhorse" of your cluster.
#
# node.master: false
# node.data: true
#
# 2. You want this node to only serve as a master, to not store any data and
#    to have free resources. This will be the "coordinator" of your cluster.
#
# node.master: true
# node.data: false
#
# 3. You want this node to be neither a master nor a data node, but
#    to act as a "search load balancer" (fetching data from nodes,
#    aggregating results, etc.)
#
# node.master: false
# node.data: false