Использование «Natural»: модуль NLP для node.js

Будь то для анализа настроений в Твиттере или для решения поисковых задач, обработка естественного языка (NLP) в последние годы стала точкой опоры для моей хобби. Сначала я обычно полагался наИнструментарий естественного языка (NLTK)которая является богатой библиотекой алгоритмов НЛП дляPython . НЛТК просто фантастический. Это настоящий универсальный магазин НЛП, широко распространенный, хорошо документированный и с открытым исходным кодом. Конечно, я должен был узнать, что делают алгоритмы и как они сочетаются друг с другом, но по большей части тяжелая работа была проделана за меня. Конечно, это была очень продуктивная ситуация!

В прошлом году, однако, принес новую платформу для моего хобби работы: Node.js . Мой узел и его сообщество были молоды, но быстро созревали.

Когда возникла потребность в средствах на естественном языке, и я обнаружил, что выбор довольно тонкий. Я должен быть честным. Это именно то, на что я надеялся; возможность погрузить свои зубы в сами алгоритмы и внести их обратно в молодое, но растущее сообщество.

Таким образом , я начал работу над «естественным» , модулем базовых естественных языков обработки алгоритмов Node.js. Идея была свободно основана на Python NLTK в том, что все алгоритмы находятся в одном пакете. Изначально я не думал, что «естественный» может быть таким же полным, как NLTK, но по мере того, как мое собственное понимание, а также вклад сообщества были подобраны, я стал гораздо более оптимистичным. Кроме того, слияние с node-nltools Роба Эллиса еще в августе 2011 года еще больше укрепило «естественность» за счет быстрого внедрения новых алгоритмов и функций.

Начиная с версии 0.1.5 Роб, другие участники и я смогли собрать следующий список функций:

• Морфологический
  
  • Портье
  • Ланкастер
• фонетический
  
  • SOUNDEX
  • Metaphone
  • Двойной метафон
• классификация
  
  • Наивный байесовский
  • Логистическая регрессия
• Строка Расстояние
  
  • Левенштейн (спасибо Сид Наллу)
  • Джаро-Винклер (спасибо Адаму Филлабауму)
  • Коэффициент кости (спасибо Джону Крепецци)
• лексемизацию
  
  • Treebank
  • слово
  • Слово-пунктуация
• сгибание
  
  • числовой
  • Существительные единственного числа / множественное число
  • Глагол настоящего времени единственного числа / множественное число
• тс * IDF
• п-граммы
• WordNet

Я не буду описывать каждый отдельный модуль и функцию в этой статье, но вместо этого опишу наиболее часто используемые и наиболее зрелые.

Установка

Как и большинство узловых модулей, «natural» упакован как NPM и может быть установлен из командной строки следующим образом:

npm install natural

Если вы хотите установить из источника (или внести свой вклад в этом отношении), он может быть найденздесь, на GitHub .

Морфологический

Первый класс алгоритмов, который я хотел бы описать, — это stemming. Стемминг — это процесс приведения слова к корню (не обязательно морфологическому корню). Другими словами, идея состоит в том, чтобы свести все спряжения, времена и формы к одному коренному слову. Этот корень может не выглядеть точно так же, как английский, но должен быть достаточно близок для сравнения.

Стемминг — это типичный шаг в подготовке текста для использования другими алгоритмами или хранилищами, такими как классификация или даже полнотекстовая индексация. Оба алгоритма Ланкастера и Портера поддерживаются с 0.1.5. Вот основной пример определения слова с помощью Портера Стеммера.

var natural = require('natural'),
stemmer = natural.PorterStemmer;

var stem = stemmer.stem('stems');
console.log(stem);
stem = stemmer.stem('stemming');
console.log(stem);
stem = stemmer.stem('stemmed');
console.log(stem);
stem = stemmer.stem('stem');
console.log(stem);

stem
stem
stem
stem

stemmer.attach();
stem = 'stemming'.stem();
console.log(stem);

var stems = 'stems returned'.tokenizeAndStem();
console.log(stems);

[ 'stem', 'return' ]

console.log('i stemmed words.'.tokenizeAndStem());
console.log('i stemmed words.'.tokenizeAndStem(true));

[ 'stem', 'word' ]
[ 'i', 'stem', 'word' ]

var natural = require('natural'),
    stemmer = natural.LancasterStemmer;

var natural = require('natural'),
phonetic = natural.Metaphone;

var wordA = 'phonetics';
var wordB = 'fonetix';

if(phonetic.compare(wordA, wordB))
    console.log('they sound alike!');

var phoneticCode = phonetic.process('phonetics');
console.log(phoneticCode);

FNTKS

phonetic.attach();

if(wordA.soundsLike(wordB))
    console.log('they sound alike!');

console.log('phonetics'.phonetics());
console.log('phonetics rock'.tokenizeAndPhoneticize());

FNTKS
[ 'FNTKS', 'RK' ]

var natural = require('natural'),
    phonetic = natural.SoundEx;

var natural = require('natural'),
    TfIdf = natural.TfIdf,
    tfidf = new TfIdf();

tfidf.addDocument('i code in c.');
tfidf.addDocument('i code in ruby.');
tfidf.addDocument('i code in ruby and node, but node more often.');
tfidf.addDocument('this document is about natural, written in node');
tfidf.addDocument('i code in fortran.');

console.log('node --------------------------------');
tfidf.tfidfs('node', function(i, measure) {
    console.log('document #' + i + ' is ' + measure);
});

console.log('ruby --------------------------------');
tfidf.tfidfs('ruby', function(i, measure) {
    console.log('document #' + i + ' is ' + measure);
});

node --------------------------------
document #0 is 0
document #1 is 0
document #2 is 3.347952867143343
document #3 is 1.6739764335716716
document #4 is 0
ruby --------------------------------
document #0 is 0
document #1 is 1.6739764335716716
document #2 is 1.6739764335716716
document #3 is 0
document #4 is 0

console.log(tfidf.tfidf('node', 0 /* document index */));
console.log(tfidf.tfidf('node', 1));

tfidf.listTerms(4 /* document index */).forEach(function(item) {
    console.log(item.term + ': ' + item.tfidf);
});

fortran: 1.7047480922384253
code: 1.6486586255873816

var natural = require('natural'),
    nounInflector = new natural.NounInflector();

var plural = nounInflector.pluralize('radius');
console.log(plural);

var singular = nounInflector.singularize('beers');
console.log(singular);

nounInflector.attach();
console.log('radius'.pluralizeNoun());
console.log('beers'.singularizeNoun()); 

nounInflector.addPlural(/(code|ware)/i, '$1z');
nounInflector.addSingular(/(code|ware)z/i, '$1');

console.log('code'.pluralizeNoun());
console.log('ware'.pluralizeNoun());

console.log('codez'.singularizeNoun());
console.log('warez'.singularizeNoun());

codez
warez
code
ware

var natural = require('natural'),
    countInflector = natural.CountInflector;

console.log(countInflector.nth(1));
console.log(countInflector.nth(2));
console.log(countInflector.nth(3));
console.log(countInflector.nth(4));
console.log(countInflector.nth(10));
console.log(countInflector.nth(11));
console.log(countInflector.nth(12));
console.log(countInflector.nth(13));
console.log(countInflector.nth(100));
console.log(countInflector.nth(101));
console.log(countInflector.nth(102));
console.log(countInflector.nth(103));
console.log(countInflector.nth(110));
console.log(countInflector.nth(111));
console.log(countInflector.nth(112));
console.log(countInflector.nth(113));

1st
2nd
3rd
4th
10th
11th
12th
13th
100th
101st
102nd
103rd
110th
111th
112th
113th

var natural = require('natural'),
classifier = new natural.BayesClassifier();
classifier.addDocument("my unit-tests failed.", 'software');
classifier.addDocument("tried the program, but it was buggy.", 'software');
classifier.addDocument("the drive has a 2TB capacity.", 'hardware');
classifier.addDocument("i need a new power supply.", 'hardware');
classifier.train();

var natural = require('natural'),
    stemmer = natural.LancasterStemmer,
    classifier = new natural.BayesClassifier(stemmer);

console.log(classifier.classify('did the tests pass?'));
console.log(classifier.classify('did you buy a new drive?'));

software
hardware

classifier.addDocument(['unit', 'test'], 'software');
classifier.addDocument(['bug', 'program'], 'software');
classifier.addDocument(['drive', 'capacity'], 'hardware');
classifier.addDocument(['power', 'supply'], 'hardware');

classifier.train();

var natural = require('natural'),
classifier = new natural.BayesClassifier();

classifier.addDocument(['unit', 'test'], 'software');
classifier.addDocument(['bug', 'program'], 'software');
classifier.addDocument(['drive', 'capacity'], 'hardware');
classifier.addDocument(['power', 'supply'], 'hardware');

classifier.train();

classifier.save('classifier.json', function(err, classifier) {
    // the classifier is saved to the classifier.json file!
 });

var natural = require('natural'),
    classifier = new natural.BayesClassifier();

natural.BayesClassifier.load('classifier.json', null, function(err, classifier) {
    console.log(classifier.classify('did the tests pass?'));
});

var NGrams = natural.NGrams;
console.log(NGrams.trigrams('some other words here'));
console.log(NGrams.trigrams(['some',  'other', 'words',  'here']));

[ [ 'some', 'other', 'words' ], [ 'other', 'words', 'here' ] ]    

console.log(NGrams.bigrams('some words here'));
console.log(NGrams.bigrams(['some',  'words',  'here']));

[ [ 'some', 'words' ], [ 'words', 'here' ] ]

console.log(NGrams.ngrams('some other words here for you', 4));

[ [ 'some', 'other', 'words', 'here' ], [ 'other', 'words', 'here', 'for' ], [ 'words', 'here', 'for', 'you' ] ]

var natural = require('natural');

console.log(natural.JaroWinklerDistance('execution', 'intention'));
console.log(natural.LevenshteinDistance('execution', 'intention'));
console.log(natural.DiceCoefficient('execution', 'intention'));

0.48148148148148145
8
0.375

var natural = require('natural');

console.log(natural.JaroWinklerDistance('same', 'same'));
console.log(natural.LevenshteinDistance('same', 'same'));
console.log(natural.DiceCoefficient('same', 'same'));

1
0
1