Удивительное автозаполнение: поиск триграмм в Rails и PostgreSQL

 <form method="GET" action="/">
  <input placeholder="Search" id="search" type="text" name="q" />
  <input type="submit">
</form>

<table>
  <tr>
    <th>Title</th>
    <th>Content</th>
  </tr>
  <% @posts.each do |post| %>
    <tr>
      <td><%= post.title %></td>
      <td><%= post.content %></td>
    </tr>
  <% end %>
</table>

Теперь у нас есть базовое приложение с одной моделью, 100 строками постов, индексной страницей и опцией поиска, которая соответствует только полному заголовку поста. Давайте включим поиск триграмм в него.

Установите расширение pg_trgm

Как упоминалось ранее, Postgres предоставляет функциональность триграмм через расширение pg_trgm Установите его в приложении, используя миграцию, а не прямо в консоли psql. Создайте миграцию с помощью следующей команды:

 rails generate migration AddPgTrgmExtensionToDB

Добавьте следующее к миграции:

 execute "create extension pg_trgm;"

Запустите миграцию. Это установит расширение pg_trgm в Postgres.

Добавить индекс поиска

Когда мы это сделаем, давайте также добавим индекс к столбцу, который мы будем искать. GiST (обобщенное дерево поиска) и GIN (обобщенный инвертированный индекс) — это два вида индексов в Postgres. Добавление индекса не обязательно, но желательно для ускорения запросов. На данный момент я действительно не могу рекомендовать GiST или GIN, так как у меня были различия в производительности между ними в прошлом. Основные различия между двумя индексами и тем, как их выбрать, можно найти здесь . Добавьте тот, который работает для вас лучше всего.

Создайте миграцию и добавьте к ней следующую строку:

 add_index :posts, :title

Запустите миграцию и все! Мы все настроены на стороне базы данных. Быстро добавьте поисковый запрос, чтобы использовать сходство триграмм.

Метод поиска

Чтобы добавить опцию поиска, добавьте метод в нашу модель Post

 class Post < ActiveRecord::Base
  def self.text_search(query)
    self.where("similarity(title, ?) > 0.3", query).order("similarity(title, #{ActiveRecord::Base.connection.quote(query)}) DESC")
  end
end

Давайте также заменим строку поиска в нашем контроллере от

 @posts = Post.where(title: params[:q])

в

 @posts = Post.text_search(params[:q])

Вот и все. Запустите сервер, затем перейдите к поиску с опечатками и увидите магию похожих слов.

В методе text_searchpost.rb пороговое значение устанавливается равным 0.3 Не стесняйтесь настроить это, чтобы удовлетворить ваши требования. Чем больше порог, тем меньше результатов и тем строже поиски.

Одним из способов повышения скорости поиска является наличие отдельного столбца, который будет содержать все последовательности триграмм столбца заголовка. Затем мы можем выполнить поиск по предварительно заполненному столбцу. Или мы можем использовать ts_vector

Вывод

Существует гем под названием pg_search, который предоставляет функциональность поиска триграмм из коробки, но по какой-то причине поиск триграмм из этого гема для меня медленнее, чем в необработанном SQL. Я могу покрыть этот драгоценный камень в будущем.

Весь код, используемый для примера в этом, размещен на GitHub . Не стесняйтесь разыгрывать игру с этим.

Спасибо за чтение. Я надеюсь, что вы найдете это полезным при разработке приложений на Rails.