Создайте поисковую систему с Node.js и Elasticsearch

 const elasticsearch = require('elasticsearch'); 

Наконец, вам нужно настроить клиент, который обрабатывает связь с Elasticsearch. В этом случае я предполагаю, что вы запускаете Elasticsearch на локальном компьютере с IP-адресом 127.0.0.1 и портом 9200 (настройка по умолчанию).

 const esClient = new elasticsearch.Client({ host: '127.0.0.1:9200', log: 'error' }); 

Параметры log гарантируют, что все ошибки будут зарегистрированы. В оставшейся части этой статьи я буду использовать тот же объект esClient для связи с Elasticsearch. Полная документация для модуля узла приведена здесь .

Примечание : весь исходный код этого руководства предоставляется на GitHub . Самый простой способ — скопировать репозиторий на ваш компьютер и запустить примеры оттуда:

 git clone https://github.com:sitepoint-editors/node-elasticsearch-tutorial.git cd node-elasticsearch-tutorial npm install 

Импорт данных

В этом уроке я буду использовать набор академических статей со случайно сгенерированным контентом. Данные предоставляются в формате JSON, и в наборе данных содержится 1000 статей. Чтобы показать, как выглядят данные, ниже показан один элемент из набора данных.

 { "_id": "57508457f482c3a68c0a8ab3", "title": "Nostrud anim proident cillum non.", "journal": "qui ea", "volume": 54, "number": 11, "pages": "109-117", "year": 2014, "authors": [ { "firstname": "Allyson", "lastname": "Ellison", "institution": "Ronbert", "email": "[email protected]" }, ... ], "abstract": "Do occaecat reprehenderit dolore ...", "link": "http://mollit.us/57508457f482c3a68c0a8ab3.pdf", "keywords": [ "sunt", "fugiat", ... ], "body": "removed to save space" } 

Имена полей говорят сами за себя. Единственное, на что следует обратить внимание, это то, что поле body здесь не отображается, поскольку оно содержит полную, случайно сгенерированную статью (от 100 до 200 абзацев). Вы можете найти полный набор данных здесь .

В то время как Elasticsearch предоставляет методы для индексирования , обновления и удаления отдельных точек данных, мы собираемся использовать массовый метод Elasticserch для импорта данных, который используется для более эффективного выполнения операций с большими наборами данных:

 // index.js const bulkIndex = function bulkIndex(index, type, data) { let bulkBody = []; data.forEach(item => { bulkBody.push({ index: { _index: index, _type: type, _id: item.id } }); bulkBody.push(item); }); esClient.bulk({body: bulkBody}) .then(response => { console.log('here'); let errorCount = 0; response.items.forEach(item => { if (item.index && item.index.error) { console.log(++errorCount, item.index.error); } }); console.log( `Successfully indexed ${data.length - errorCount} out of ${data.length} items` ); }) .catch(console.err); }; const test = function test() { const articlesRaw = fs.readFileSync('data.json'); bulkIndex('library', 'article', articles); }; 

Здесь мы вызываем функцию bulkIndex передавая ей library качестве имени индекса, article в качестве типа и данные JSON, которые мы хотим проиндексировать. Функция bulkIndex в свою очередь, вызывает метод esClient объекта esClient . Этот метод принимает объект со свойством body в качестве аргумента. Значение, предоставленное свойству body представляет собой массив с двумя записями для каждой операции. В первой записи тип операции указан как объект JSON. Внутри этого объекта свойство index определяет выполняемую операцию (в данном случае индексирование документа), а также имя индекса, имя типа и идентификатор документа. Следующая запись соответствует самому документу.

Обратите внимание, что в будущем вы можете добавить другие типы документов (например, книги или отчеты) в этот же индекс. Мы также можем назначить уникальный идентификатор каждому документу, но это необязательно — если вы его не предоставите, Elasticsearch назначит уникальный случайно сгенерированный идентификатор каждому документу для вас.

Предполагая, что вы клонировали репозиторий, теперь вы можете импортировать данные в Elasticsearch, выполнив следующую команду из корня проекта:

 $ node index.js 1000 items parsed from data file Successfully indexed 1000 out of 1000 items 

Проверка правильности индексации данных

Одна из замечательных особенностей Elasticsearch — поиск в режиме реального времени. Это означает, что как только документы проиндексированы, они становятся доступными для поиска в течение одной секунды (см. Здесь ). Как только данные проиндексированы, вы можете проверить информацию об индексе, запустив indices.js ( ссылка на источник ):

 // indices.js const indices = function indices() { return esClient.cat.indices({v: true}) .then(console.log) .catch(err => console.error(`Error connecting to the es client: ${err}`)); }; 

Методы в клиентском объекте cat предоставляют различную информацию о текущем запущенном экземпляре. Метод indices перечисляет все индексы, их состояние здоровья, количество их документов и их размер на диске. Опция v добавляет заголовок к ответу от методов cat .

Когда вы запустите приведенный выше фрагмент, вы заметите, что он выводит цветовой код, указывающий состояние вашего кластера. Красный указывает, что что-то не так с вашим кластером, и он не работает. Желтый означает, что кластер работает, но есть предупреждение, а зеленый означает, что все работает нормально. Скорее всего (в зависимости от ваших настроек) вы получите желтый статус при работе на локальном компьютере. Это связано с тем, что настройки по умолчанию содержат пять узлов для кластера, но на вашем локальном компьютере работает только один экземпляр. Хотя вы всегда должны стремиться к зеленому статусу в производственной среде, для целей данного руководства вы можете продолжать использовать Elasticsearch в желтом статусе.

 $ node indices.js elasticsearch indices information: health status index pri rep docs.count docs.deleted store.size pri.store.size yellow open library 5 1 1000 0 41.2mb 41.2mb 

Динамическое и пользовательское отображение

Как я упоминал ранее, Elasticsearch не содержит схем. Это означает, что вам не нужно определять структуру ваших данных (аналогично определению таблицы в базе данных SQL), прежде чем импортировать ее, скорее Elasticsearch автоматически обнаружит ее для вас. Но, несмотря на то, что он называется без схемы, существуют некоторые ограничения в структуре данных.

 //search_all.js const search = function search(index, body) { return esClient.search({index: index, body: body}); }; const test = function test() { let body = { size: 20, from: 0, query: { match_all: {} } }; search('library', body) .then(results => { console.log(`found ${results.hits.total} items in ${results.took}ms`); console.log(`returned article titles:`); results.hits.hits.forEach( (hit, index) => console.log( `\t${body.from + ++index} - ${hit._source.title}` ) ) }) .catch(console.error); }; 

 { took: 6, timed_out: false, _shards: { total: 5, successful: 5, failed: 0 }, hits: { total: 1000, max_score: 1, hits: [ [Object], [Object], ... [Object] ] } } 

 // search_match.js { query: { match: { title: { query: 'search terms go here' } } } } 

 // search_match.js ... match: { title: { query: 'search terms go here', minimum_should_match: 3 } } ... 

 match: { title: { query: 'search tems go here', minimum_should_match: 3, fuzziness: 2 } } 

 // search_multi_match multi_match: { query: 'search terms go here', fields: ['title', 'authors.firstname', 'authors.lastname'] } 

 // match_phrase.js match: { title: { query: 'search phrase goes here', type: 'phrase' } } 

 // search_bool.js { bool: { must: [ { query_string: { query: '(authors.firstname:term1 OR authors.lastname:term2) AND (title:term3)' } } ], should: [ { match: { body: { query: 'search phrase goes here', type: 'phrase' } } } ], must_not: [ { range: { year: { gte: 2011, lte: 2013 } } } ] } } 

 // filter.js { bool: { must: [ { match: { title: 'search terms go here' } } ], filter: [ { range: { year: { gte: 2011, lte: 2015 } } } ] } } 

 // aggregations.js { aggregations: { min_year: { min: {field: 'year'} }, keywords: { terms: {field: 'keywords'} } } } 

 { ... "aggregations": { "keywords": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 2452, "buckets": [ { "key": "pariatur", "doc_count": 88 }, { "key": "adipisicing", "doc_count": 75 }, ... ] }, "min_year": { "value": 1970 } } } 

 // suggest_term.js esClient.suggest({ index: 'articles', body: { text: 'text goes here', titleSuggester: { term: { field: 'title', size: 5 } } } }).then(...) 

 ... "titleSuggester": [ { "text": "term", "offset": 0, "length": 4, "options": [ { "text": "terms", "score": 0.75, "freq": 120 }, { "text": "team", "score": 0.5, "freq": 151 } ] }, ... ] ... 

 // suggest_phrase.js esClient.suggest({ index: 'articles', body: { text: 'phrase goes here', bodySuggester: { phrase: { field: 'body' } } } }).then(...).catch(...);