Префикс и суффикс соответствий в Solr

Поисковые системы все о поиске строк. Пользователь вводит термин запроса, который затем извлекается из инвертированного индекса. Иногда пользователь ищет значение, которое является только подстрокой значений в индексе, и пользователь также может быть заинтересован в этих совпадениях. Это особенно важно для таких языков, как немецкий, которые содержат составные слова, такие как Semmelknödel, где Knödel означает клецки, а Semmel специализирует их.

Wildcards

Для демонстрации подходов я использую очень простую схему. Документы состоят из текстового поля и идентификатора. Конфигурация, а также модульное тестирование также доступны на Github .

Один из подходов, который довольно популярен при выполнении совпадений префиксов или суффиксов, — это использование групповых символов при запросах. Это может быть сделано программно, но вам нужно позаботиться о том, чтобы любой пользовательский ввод был правильно экранирован. Предположим, у вас есть термин dumpling в индексе, и пользователь вводит термин dump . Если вы хотите убедиться, что термин запроса совпадает с документом в индексе, вы можете просто добавить подстановочный знак к пользовательскому запросу в коде вашего приложения, чтобы результирующий запрос был дампом * .

Как правило, вы должны быть осторожны, когда делаете слишком много магии, как это: если пользователь на самом деле ищет документы, содержащие слово dump, он может быть не заинтересован в документах, содержащих клецки. Вы должны решить для себя, хотите ли вы, чтобы результаты соответствовали только интересам пользователя (точность) или показывали пользователю как можно больше возможных совпадений (напомним). Это сильно зависит от вариантов использования вашего приложения.

Вы можете немного улучшить пользовательский опыт, увеличив точные соответствия для вашего срока. Вам нужно создать более сложный запрос, но в этом случае документы, содержащие точное совпадение, получат более высокую оценку:

При создании такого запроса вы также должны позаботиться о том, чтобы пользователь не мог добавить термины, которые сделают запрос недействительным. Метод escapeQueryChars escapeQueryChars класса ClientUtils может использоваться для экранирования пользовательского ввода.

Если вы сейчас принимаете во внимание совпадения суффиксов, запрос может быть довольно сложным, и создание такого запроса на стороне клиента не для всех. В зависимости от вашего приложения лучшим подходом может быть другой подход: вы можете создать другое поле, содержащее NGrams во время индексации.

Префикс соответствует с NGrams

NGrams — это подстроки ваших проиндексированных терминов, которые вы можете поместить в дополнительное поле. Эти подстроки могут затем использоваться для поиска, поэтому нет необходимости в подстановочных знаках. Используя обработчик (e) dismax, вы можете автоматически установить усиление для вашего поля, которое используется для точных совпадений, чтобы вы получили то же поведение, которое мы видели выше.

Для совпадения префиксов мы можем использовать EdgeNGramFilter , настроенный для дополнительного поля:

Во время индексации значение текстового поля копируется в поле text_prefix и анализируется с помощью EdgeNGramFilter. Граммы создаются для любой длины от 3 до 15, начиная с начала строки. При индексации термина клецки это будет:

• дум
• свалка
• dumpl
• dumpli
• Dumplin
• клецка

Во время запроса термин снова не разделяется, поэтому можно использовать точное совпадение для подстроки. Как обычно, представление анализа административной части Solr может помочь увидеть процесс анализа в действии.

Используя обработчик dismax, вы теперь можете передать запрос пользователя как есть и просто посоветовать ему выполнить поиск по вашим полям, добавив параметр qf=text^2,text_prefix .

Суффикс Матчи

Для языков, которые содержат составные слова, распространенным требованием также является сопоставление суффиксов. Если пользователь запрашивает термин Knödel (пельмени), ожидается, что документы, содержащие термин Semmelknödel, также совпадают.

При использовании версий Solr до 4.3 это не проблема. Вы можете использовать EdgeNGramFilterFactory для создания граммов, начиная с конца строки.

Это создает суффиксы индексированного термина, который также содержит термин knödel, поэтому наш запрос работает.

Но, используя более свежие версии Solr, вы столкнетесь с проблемой во время индексации:

Вы больше не можете использовать EdgeNGramFilterFactory для суффиксов ngram. Но, к счастью, трассировка стека также помогает нам решить проблему. Мы должны объединить это с ReverseStringFilter:

Теперь это даст те же результаты, что и раньше.

Вывод

Собираетесь ли вы манипулировать запросом, добавляя подстановочные знаки, или следует использовать подход NGram, в значительной степени зависит от вашего варианта использования, а также от вкуса. Лично я использую NGrams большую часть времени, поскольку дисковое пространство обычно не имеет значения для проектов, над которыми я работаю. Поиск по шаблону стал намного быстрее в Lucene 4, поэтому я сомневаюсь, что в этом есть реальная выгода Тем не менее, я склонен делать как можно больше обработки во время индексации.