В поисках Лавкрафта, часть 1: введение в НЛП и драгоценность лакомства

Теперь, когда наша история разбита на абзацы, мы можем разбить первый абзац на предложения. Обратите внимание, что, поскольку мы выборочно сегментируем первый абзац, story.sentences покажет только предложения в первом абзаце.

 # Run the segmenter on the first paragraph story.paragraphs.first.segment #=> An array of sentences in the first paragraph story.paragraphs.first.sentences story.sentences 

Использование Применить

Мы также можем использовать метод apply чтобы заполнить дерево. На этот раз, помимо разбиения на фрагменты и сегментирования, мы будем разбивать документ на слова.

 # Instantiate a fresh document (we can't re-process documents) story = document '/path/to/story' # Run the chunker, segmenter, and tokenizer in succession. story.apply(:chunk, :segment, :tokenize) #=> An array containing all of the story's Word objects story.words #=> The first Word object in the first paragraph story.paragraphs.first.words.first #=> The number of words in the first sentence of the first paragraph story.paragraphs[0].sentences[0].word_count 

ЧАЕВЫЕ

Вам нужно будет использовать to_s для получения строковых значений из узлов.

 # This gets an object, not a string story.paragraphs.first # This gets the actual text of the entire paragraph story.paragraphs.first.to_s # This will print nothing puts story.words.first # This prints the first word puts story.words.first.to_s 

Для Лавкрафта «Избегающий дом» story.sentences[8].to_s возвращает:

 "The house was -- and for that matter still is -- of a kind to attract the attention of the curious." 

Добавление частей речевых узлов

Пока у нас есть доступ к абзацам, предложениям и словам. Но не было бы неплохо узнать, например, сколько существительных, глаголов и прилагательных в каждом абзаце? Мы могли бы написать вспомогательную функцию, которая делает что-то вроде этого:

 node_nouns = node.words.select { |word| word.category == "noun" } 

Однако это не обязательно. #apply :category к #apply , мы можем украсить дерево узлами частей речи (Примечание: это предполагает, что мы ранее применяли :chunk :tokenize :segment и :tokenize ).

 story.apply(:category) 

Теперь можно сделать что-то вроде следующего:

 # Get an array of all Word objects that are nouns story.nouns # Get an array of the lengths of all the verbs story.verbs.map { |v| v.to_s.length } # Get the number of conjuctions used story.conjunction_count 

Больше чем одна история — Коллекции

Лечить коллекции служат двум целям. Во-первых, они позволяют получить доступ к узлам из разных документов через одно и то же дерево. Во-вторых, они позволяют нам получать доступ к документам в каталоге, не зная их имен файлов. Все, что вам нужно сделать, — это передать путь к каталогу историй в Kernel#collection (при условии, что относящийся к нему DSL уже включен).

 stories = collection 'collections/edgar_a_poe' # Process the entire collection stories.apply(:chunk, :segment, :tokenize, :category) # Gets the noun percentage out of all the stories to two decimal places (stories.noun_count.to_f / stories.word_count).round(2) # Prints out the path of every story in the collection stories.each_document do |story| puts story.file end 

Метрики — Популярность слова

Различные метрики могут быть использованы при попытке дактилоскопии авторов. Например, мы можем использовать среднее количество предложений в абзаце.

К сожалению, с простыми метриками мы рискуем запутать двух авторов, которые пишут в похожих стилях. На Лавкрафта оказали влияние Натаниэль Хоторн и Эдгар По, и некоторые из его простых метрик показывают это. Чтобы избежать путаницы с похожими авторами, нам необходимо сравнить реальное содержание авторских рассказов.

Легко доступная нам метрика контента — популярность слова. Если первые 100 слов истории в основном входят в нижние 100 слов другой истории, то эти истории, вероятно, не очень похожи.

Лечить предоставляет Countable#frequency_of который возвращает количество раз, когда слово встречается. Если мы создадим хэш, в котором каждый ключ является словом, а каждое значение — это число раз, которое оно появляется, мы можем отсортировать его, чтобы получить популярность слова.

 # Start off with an empty hash object word_hash = {} # Assign the word's frequency to its key in word_hash # Note: frequency_of does perform #downcase internally, # but iterating over a uniq downcased array prevents iterating over # unnecessary instances in the story downcased_words = story.words.map { |word| word.to_s.downcase }.uniq downcased_words.each do |w| word_hash[w] = story.frequency_of(w) end # Create an array of [key, value] arrays, sorted greatest-to-least word_popularity = word_hash.sort_by { |key, value| value }.reverse 

Это получит слово популярность всех слов в истории, но на самом деле нас могут не интересовать все из них. Такие слова, как «или» и «и» не являются специфическими для любого типа истории, и они занимают много места в верхних рейтингах. Поскольку прилагательные помогают задать тон истории, мы можем получить много информации, оценивая их в одиночку.

 adjective_popularity = word_popularity.select do |key, value| key.category == "adjective" end 

Вот лучшие 30 прилагательных, которые я получил от Избеганного Дома:

 [["one", 35], ["more", 30], ["other", 19], ["two", 17], ["most", 16], ["old", 15], ["new", 14], ["many", 14], ["first", 12], ["great", 12], ["certain", 11], ["last", 11], ["strange", 10], ["such", 10], ["french", 9], ["same", 7], ["white", 7], ["next", 7], ["hideous", 7], ["light", 7], ["few", 6], ["ancient", 6], ["own", 6], ["sinister", 5], ["broken", 5], ["proper", 5], ["evil", 5], ["thin", 5], ["horrible", 5], ["terrible", 5], ["peculiar", 5]] 

Из этих слов видно, что произведение, скорее всего, представляет собой ужасную работу со словами «странный» и «зловещий» в верхнем рейтинге.

Быстрый анализ — проценты существительных

Прежде чем закончить это введение, давайте посмотрим, сможем ли мы найти какую-либо отличительную информацию между новостной статьей и художественным произведением. Мы сравним существительные проценты коллекций. В папке сценариев есть небольшой скрипт с именем noun_percentages.rb .

 # !/usr/bin/env ruby require 'pathname' require 'treat' include Treat::Core::DSL def process_collection(path) puts "Author: #{Pathname.new(path).basename}" paths = Dir.glob(path + "/*") paths.each do |story_path| story = document story_path story.apply(:chunk, :segment, :tokenize, :category) noun_percentage = (story.noun_count / story.word_count.to_f).round(2) puts "#{Pathname.new(story_path).basename}: #{noun_percentage}" end puts "" end process_collection 'collections/edgar_a_poe' process_collection 'collections/nathaniel_hawthorne' process_collection 'collections/h_p_lovecraft' process_collection 'collections/philip_k_dick' process_collection 'collections/news' 

Этот скрипт входит в каждую папку автора, обрабатывает каждую историю и печатает процент слов, которые являются существительными в этой истории. Запустите это с:

 ruby scripts/noun_percentages.rb 

Вы должны получить такие результаты:

 Author: edgar_a_poe the_masque_of_red_death.txt: 0.2 the_fall_of_the_house_of_usher.txt: 0.2 the_pit_and_the_pendulum.txt: 0.19 the_black_cat.txt: 0.2 the_tell_tale_heart.txt: 0.16 the_premature_burial.txt: 0.19 Author: nathaniel_hawthorne the_man_of_adamant.txt: 0.21 the_maypole_of_merry_mount.txt: 0.24 the_birth_mark.txt: 0.22 young_goodman_brown.txt: 0.24 the_minister's_black_veil.txt: 0.22 Author: h_p_lovecraft the_shunned_house.txt: 0.24 Author: philip_k_dick beyond_the_door.txt: 0.19 beyond_lies_the_wub.txt: 0.22 second_variety.txt: 0.24 the_variable_man.txt: 0.27 Author: news obama_egypt.txt: 0.34 lab_mice.txt: 0.3 cambodian_vote.txt: 0.41 syria_war.txt: 0.37 

Заметьте что-нибудь? Новостные статьи имеют значительно более высокий процент существительных, чем произведения художественной литературы. Это потому, что художественная литература имеет тенденцию быть очень описательной, с большим количеством стилистических слов, занимающих пространство слов. Новости, с другой стороны, обычно пишутся так, чтобы их можно было быстро и легко читать, поэтому избегают лишних слов.

Похоже, что, хотя они могут сказать нам, является ли история вероятной новостью, процентных долей, вероятно, недостаточно для того, чтобы отследить Лавкрафта или любого автора. Во второй части мы создадим более детальную систему анализа, которая поможет нам разобраться в том, что делает историю по-настоящему любовной.

Ресурсы

• Страница проекта лечения
• Руководство по уходу