Слово токенизация — это процесс разбиения большой выборки текста на слова. Это требование в задачах обработки естественного языка, где каждое слово должно быть захвачено и подвергнуто дальнейшему анализу, такому как классификация и подсчет их для определенного настроения и т. Д. Набор инструментов естественного языка (NLTK) — это библиотека, используемая для достижения этой цели. Установите NLTK перед тем, как продолжить работу с программой на python для токенизации слов.
conda install -c anaconda nltk
Далее мы используем метод word_tokenize, чтобы разделить абзац на отдельные слова.
import nltk word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms" nltk_tokens = nltk.word_tokenize(word_data) print (nltk_tokens)
Когда мы выполняем приведенный выше код, он дает следующий результат.
['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the', 'comforts', 'of', 'their', 'drawing', 'rooms']
Токенизация предложений
Мы также можем маркировать предложения в абзаце так же, как мы токенизировали слова. Мы используем метод sent_tokenize для достижения этой цели. Ниже приведен пример.
import nltk sentence_data = "Sun rises in the east. Sun sets in the west." nltk_tokens = nltk.sent_tokenize(sentence_data) print (nltk_tokens)
Когда мы выполняем приведенный выше код, он дает следующий результат.