Начало работы с обработкой естественного языка в Python

 [('Hi', 'NNP'),
 (',', ','),
 ('this', 'DT'),
 ('is', 'VBZ'),
 ('a', 'DT'),
 ('nice', 'JJ'),
 ('hotel', 'NN'),
 ('.', '.')]

Как вы декодируете контекст каждого токена? Вот полный список всех тегов и их соответствующих значений в Интернете. Обратите внимание, что теги всех существительных начинаются с «N», а для всех глаголов начинаются с «V». Мы можем использовать эту информацию во втором аргументе нашего .lemmatize()

 def lemmatize_tokens(stentence):
    lemmatizer = WordNetLemmatizer()
    lemmatized_tokens = []
    for word, tag in pos_tag(stentence):
        if tag.startswith('NN'):
            pos = 'n'
        elif tag.startswith('VB'):
            pos = 'v'
        else:
            pos = 'a'
        lemmatized_tokens.append(lemmatizer.lemmatize(word, pos))
    return lemmatized_tokens

sample = "Legal authority constitutes all magistrates."
print(lemmatize_tokens(word_tokenize(sample)))

Вывод кода выше выглядит следующим образом:

 ['Legal', 'authority', 'constitute', 'all', 'magistrate', '.']

Эти результаты получены на ожидаемых основаниях, где «составляющие» и «магистраты» были преобразованы в «составляющие» и «магистраты» соответственно.

Шаг 3: Очистка данных

Следующим шагом в подготовке данных является очистка данных и удаление всего, что не добавляет смысла вашему анализу. В общих чертах мы рассмотрим удаление знаков препинания и стоп-слов из вашего анализа.

Устранить пунктуацию довольно легко. Объект punctuationstring

 import string
print(string.punctuation)

Вывод этого фрагмента кода выглядит следующим образом:

 '!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~'

Чтобы удалить пунктуацию из токенов, вы можете просто запустить:

 for token in tokens:
    if token in string.punctuation:
        # Do something

Далее мы сосредоточимся на удалении стоп-слов. Стоп-слова — это часто используемые слова в языке, такие как «I», «a» и «the», которые при анализе текста мало что значат для текста. Поэтому мы удалим стоп-слова из нашего анализа. Сначала загрузите ресурс stopwords

 nltk.download('stopwords')

После завершения загрузки импортируйте stopwordsnltk.corpus.words() Это список из 179 стоп-слов на английском языке.

 from nltk.corpus import stopwords
stop_words = stopwords.words('english')

Мы можем объединить пример лемматизации с концепциями, обсуждаемыми в этом разделе, чтобы создать следующую функцию clean_data() Кроме того, перед сравнением, если слово входит в список стоп-слов, мы конвертируем его в нижний регистр. Таким образом, мы по-прежнему фиксируем стоп-слово, если оно встречается в начале предложения и пишется с большой буквы.

 def clean_data(tokens, stop_words = ()):

    cleaned_tokens = []

    for token, tag in pos_tag(tokens):
        if tag.startswith("NN"):
            pos = 'n'
        elif tag.startswith('VB'):
            pos = 'v'
        else:
            pos = 'a'

        lemmatizer = WordNetLemmatizer()
        token = lemmatizer.lemmatize(token, pos)

        if token not in string.punctuation and token.lower() not in stop_words:
            cleaned_tokens.append(token)
    return cleaned_tokens

sample = "The quick brown fox jumps over the lazy dog."
stop_words = stopwords.words('english')

clean_data(word_tokenize(sample), stop_words)

Выходные данные примера следующие:

 ['quick', 'brown', 'fox', 'jump', 'lazy', 'dog']

Как видите, пунктуация и стоп-слова были удалены.

Распределение частоты слов

Теперь, когда вы знакомы с основными методами очистки в НЛП, давайте попробуем найти частоту слов в тексте. Для этого упражнения мы будем использовать текст сказки «Мышь», «Птица» и «Колбаса» , который можно бесплатно найти на сайте Gutenberg. Мы будем хранить текст этой сказки в виде строки text

Сначала мы токенизируем textclean_data

 tokens = word_tokenize(text)
cleaned_tokens = clean_data(tokens, stop_words = stop_words)

Чтобы найти частотное распределение слов в вашем тексте, вы можете использовать класс FreqDist Инициализируйте класс с токенами в качестве аргумента. Затем используйте метод .most_common() Давайте попробуем найти десять лучших терминов в этом случае.

 from nltk import FreqDist

freq_dist = FreqDist(cleaned_tokens)
freq_dist.most_common(10)

Вот десять наиболее часто встречающихся терминов в этой сказке.

python
[('bird', 15),
('sausage', 11),
('mouse', 8),
('wood', 7),
('time', 6),
('long', 5),
('make', 5),
('fly', 4),
('fetch', 4),
('water', 4)]


Неудивительно, что три самых распространенных термина — это три главных персонажа в сказке.

Частота слов не может быть очень важной при анализе текста. Как правило, следующим шагом в NLP является создание статистики — TF — IDF (термин частота — обратная частота документа), которая обозначает важность слова в списке документов.

Вывод

В этом посте вы познакомились с обработкой естественного языка в Python. Вы преобразовали текст в токены, преобразовали слова в их базовые формы и, наконец, очистили текст, чтобы удалить любую часть, которая не добавляла значения для анализа.

Несмотря на то, что вы рассмотрели простые задачи НЛП в этом учебном пособии, есть много методов для изучения. Возможно, вы захотите выполнить моделирование темы на текстовых данных, где цель состоит в том, чтобы найти общую тему, о которой может говорить текст. Более сложной задачей в НЛП является внедрение модели анализа настроений для определения ощущения, лежащего в основе любого текста.

Какие процедуры вы выполняете, когда вам дают кучу текста для работы? Дайте нам знать в комментариях ниже.