Примеры синтаксиса Lucene Query (Search)

1. Введение

В этом уроке нашего курса мы собираемся исследовать основные механизмы запросов, предлагаемые Lucene. Как вы помните из вводного урока, Lucene не отправляет необработанный текст для поиска в указатель. Для этого он использует Query Objects. В этом уроке мы рассмотрим все важные компоненты, которые выстраиваются в очередь, чтобы преобразовать написанные человеком поисковые фразы в репрезентативные структуры, такие как Queries .

2. Класс запроса

Класс Query — это открытый абстрактный класс, который представляет запрос к индексу. В этом разделе мы рассмотрим наиболее важные подклассы запросов, которые вы можете использовать для выполнения специализированных запросов.

2.1 TermQuery

Это самый простой и простой запрос, который вы можете выполнить для индекса Lucene. Вы просто ищете Documents которые содержат одно слово в определенном Field .

Базовый конструктор TermQuery определяется следующим образом: public TermQuery(Term t) . Как вы помните из первого урока, Term состоит из двух частей:

1. Название Field в котором находится этот термин.
2. Фактическое значение термина, которое в подавляющем большинстве случаев представляет собой одно слово, полученное в результате анализа некоторого простого текста.

Итак, если вы хотите создать TermQuery, чтобы найти все Documents , содержащие слово "good" в их Field "content" , вот как вы можете это сделать

Мы можем использовать это для поиска слова «статический» в нашем ранее созданном индексе:

Выход этого будет:

Как видите, семь моих исходных файлов содержали ключевое слово "static" . Вот и все. Естественно, если вы попытаетесь добавить другое слово в строку запроса, поиск вернет 0 результатов. Например, если вы установите строку запроса в:

Выход будет:

Теперь я знаю, что "private static" присутствует во многих моих исходных файлах. Но, как вы помните, мы использовали StandarAnalyzer для обработки простого текста, полученного из наших файлов, в процессе индексации. StandardAnalyzer разбивает текст на отдельные слова, поэтому каждый Term содержит одно слово. Вы можете не маркировать индексированное Field . Но я бы посоветовал вам делать это в Fields которые содержат метаинформацию о нашем Документе, например, в заголовке или авторе, а не в полях, содержащих его содержимое. Например, если вы решите не маркировать и не проиндексировать поле с именем 'author' и значением 'James Wilslow' , Field 'author' будет содержать только один Term со значением 'James Wilslow' в целом. Если бы вы сделали токенизацию Field , оно содержало бы два термина, один со значением 'James' а другой со значением 'Wilslow' .

2.2 PhraseQuery

С PhraseQuery вы можете искать Documents которые содержат определенную последовательность слов, или фраз.

Вы можете создать PhraseQuery следующим образом:

И тогда вы можете добавить Terms к нему. Например, если вы хотите найти Documents которые содержат фразу «private static» в их поле «content», вы можете сделать это так:

Выход будет:

Document превращает его в результаты, только если Field содержит слова "private" и "static" последовательно и в том же порядке.

Так что если вы измените приведенный выше код примерно так:

Ты получишь :

Это потому, что, хотя мои исходные файлы содержат оба слова, они не являются последовательными. Чтобы немного изменить это поведение, вы можете добавить PhraseQuery в PhraseQuery . Когда вы добавляете пометку 1, вы позволяете не более одного слова вмешиваться между словами в вашей фразе. Когда вы добавляете помет 2, вы допускаете не более 2 слов между словами в фразе.

Интересно: «На самом деле наклон — это расстояние редактирования, где единицы соответствуют перемещениям терминов в фразе запроса вне позиции. Например, для переключения порядка двух слов требуется два хода (первый шаг помещает слова друг на друга), поэтому, чтобы разрешить перестановку фраз, наклон должен быть не менее двух ».

Итак, если мы сделаем:

Результат нашего поиска даст:

Важно отметить, что документы, содержащие фразы, более близкие к точной фразе запроса, получат более высокие оценки.

2.3 BooleanQuery

BooleanQuery — более выразительный и мощный инструмент, поскольку вы можете комбинировать несколько запросов вместе с логическими предложениями. BoleanQuery может быть заполнен BooleanClauses. BooleanClause состоит из Query и той роли, которую этот Query должен играть в булевом поиске.

Чтобы быть более конкретным, логическое предложение может играть следующие роли в запросе:

1. MUST : Это довольно explenatory . Document попадает в список результатов, если и только если он содержит это предложение.
2. MUST NOT : Это прямо противоположный случай. Обязательно, чтобы Документ попал в список результатов, чтобы не содержать этот пункт.
3. SHOULD : Это относится к предложениям, которые могут встречаться в Document , но им не обязательно включать его, чтобы получить его результаты.

Если у вас есть логический запрос только с предложениями SHOULD, результаты соответствуют хотя бы одному из предложений. Это похоже на классический логический оператор ИЛИ, но его не так просто использовать правильно.

Теперь давайте посмотрим несколько примеров. Давайте найдем исходные файлы, которые содержат слово «string», но не содержат слово «int».

Вот результат:

Теперь давайте попробуем найти все документы, содержащие слово «nikos» и фразу «httpservletresponse response». В следующем фрагменте вы можете увидеть, как вы можете избежать создания экземпляров BooleanClause , делая вашу работу более компактной.

Это результат:

Давайте найдем все Документы, которые содержат слово «int» или слово «nikos». Как вы можете представить, вы должны каким-то образом использовать спецификацию СЛЕДУЕТ:

Это было не слишком сложно, но немного сложнее создать более сложные дизъюнктивные запросы. Это не всегда просто, как вы должны использовать правильно.

Например, давайте попробуем найти все Документы, которые содержат слово «nikos» и фразу «httpservletresponse response» или содержат слово «int». Можно написать что-то вроде этого:

Но запрос не даст желаемых результатов. Помните, что результаты этого запроса, как мы его "nikos" , ДОЛЖНЫ содержать слово "nikos" и ДОЛЖНЫ содержать фразу "httpservletresponse response" одновременно. Но это не то, что вы хотите. Вы хотите документы, которые содержат слово nikos и фразу "httpservletresponse response" , но вы также хотите, чтобы документы содержали слово "int" независимо, независимо от того, содержат ли они другие пункты. Справедливости ради, приведенный выше логический запрос немного ошибочен. Потому что в прямом логическом синтаксисе вы бы никогда не написали что-то вроде: A И B ИЛИ C. Вы должны написать (A И B) ИЛИ C. Или A И (B ИЛИ C). Увидеть разницу?

Поэтому вы должны написать запрос, который вам нравится: («nikos» И «httpservletresponse response») ИЛИ «int».

Вы можете сделать это, комбинируя BooleanQueries вместе. Используя приведенный выше строгий синтаксис, не очень сложно представить, как это будет происходить:

Это краткое руководство, BooleanQuery вы можете следовать при построении логических запросов с использованием класса BooleanQuery :

• X И Y

1 2 3

BooleanQuery bool = new BooleanQuery(); bool.add(X,BooleanClause.Occur.MUST); bool.add(Y,BooleanClause.Occur.MUST);

• X ИЛИ Y

1 2 3

BooleanQuery bool = new BooleanQuery(); bool.add(X,BooleanClause.Occur.SHOULD); bool.add(Y,BooleanClause.Occur.SHOULD);

• X И (НЕ Y)

1 2 3

BooleanQuery bool = new BooleanQuery(); bool.add(X,BooleanClause.Occur.MUST); bool.add(Y,BooleanClause.Occur.MUST_NOT);

• (X И Y) ИЛИ Z

1 2 3 4 5 6 7 8

BooleanQuery conj = new BooleanQuery();   conj.add(X,BooleanClause.Occur.MUST); conj.add(Y,BooleanClause.Occur.MUST);   BooleanQuery disj = new BooleanQuery(); disj.add(conj,BooleanClause.Occur.SHOULD) disj.add(Z,BooleanClause.Occur.SHOULD)

• (X ИЛИ Y) И Z

1 2 3 4 5 6 7 8

BooleanQuery conj = new BooleanQuery();   conj.add(X,BooleanClause.Occur.SHOULD); conj.add(Y,BooleanClause.Occur.SHOULD);   BooleanQuery disj = new BooleanQuery(); disj.add(conj,BooleanClause.Occur.MUST) disj.add(Z,BooleanClause.Occur.MUST)

• X ИЛИ (НЕ Z)

1 2 3 4 5 6 7

BooleanQuery neg = new BooleanQuery();   neg.add(Z,BooleanClause.Occur.MUST_OT);   BooleanQuery disj = new BooleanQuery(); disj.add(neg,BooleanClause.Occur.SHOULD) disj.add(X,BooleanClause.Occur.SHOULD)

Выше можно использовать для создания все более сложных логических запросов.

2.4 WildcardQuery

Как следует из названия, вы можете использовать класс WildcardQuery для выполнения подстановочных запросов, используя ‘*’ или ‘?’ персонажи. Например, если вы хотите искать документы, содержащие термины, начинающиеся с «ni», за которыми следует любая другая последовательность символов, вы можете выполнить поиск «ni *». Если вы хотите найти термины, которые начинаются с «jamie», за которым следует (любой) один символ, вы можете найти «jamie?». Просто как тот. Естественно, WildcardQueries неэффективны, потому что при поиске может потребоваться много разных терминов для поиска совпадений. Как правило, рекомендуется избегать использования подстановочного знака в начале слова, например «* abcde».

Давайте посмотрим на пример:

И

2.5 RegexpQuery

Используя RegexpQuery , вы можете выполнять быстрые запросы регулярных выражений, которые оцениваются с помощью очень быстрой автоматической реализации Lucene. Вот пример

2.6 TermRangeQuery

Этот подкласс Query полезен при выполнении запросов диапазона на строковых терминах. Например, вы можете искать термины между словами «abc» и «xyz». Сравнение слов выполняется с помощью Byte.compareTo(Byte) . Это может оказаться особенно полезным для запросов диапазона в метаданных ваших документов, таких как заголовки и даже даты (в случае дат следует использовать DateTools ).

Вот как вы можете найти все документы, созданные за последнюю неделю:

Конечно, вы должны быть осторожны при индексации поля «дата». К нему также необходимо применить DateTools.dateToString и указать, что это поле не нужно анализировать (чтобы оно не разбивалось на токены и не разбивалось на слова).

2.7 NumberRangeQuery

Это для выполнения запросов числового диапазона. Представьте, что у вас есть поле «wordcount», в котором хранится количество слов этого документа, и вы хотите получить документы, содержащие от 2000 до 10000 слов:

Логические аргументы диктуют, что верхний и нижний пределы включены в диапазон.

2.8 FuzzyQuery

Это очень интересный подкласс запросов. Этот запрос оценивает термины в соответствии с мерами близости, такими как хорошо известное расстояние Дамерау-Левенштейна. Это найдет слова, которые лексикографически близки. Если вы хотите выполнить интенсивное лексикографическое приложение, например, словарь или функцию предложения слов «вы имели в виду», вы можете использовать SpellChecker API .

Давайте посмотрим, как вы можете выполнить нечеткий запрос с ошибочным написанием строки: