9) Учебник по встраиванию слов

Функция активации нейрона определяет выход этого нейрона с учетом набора входов. Биологически вдохновлен деятельностью в нашем мозге, где разные нейроны активируются с помощью разных стимулов. Давайте разберемся с функцией активации через следующую диаграмму.

Gensim — это инструмент для моделирования тем, который реализован на python. Моделирование темы — это обнаружение скрытой структуры в теле текста. Word2vec импортируется из инструментария Gensim. Обратите внимание, что Gensim предоставляет не только реализацию word2vec, но также Doc2vec и FastText, но этот урок посвящен word2vec, поэтому мы будем придерживаться текущей темы.

Реализация word2vec с использованием Gensim

До сих пор мы обсуждали, что такое word2vec, его различные архитектуры, почему происходит переход от пакета слов к word2vec, отношения между word2vec и NLTK с живым кодом и функциями активации. В этом разделе будет реализован Word2vec с использованием Gensim

Шаг 1) Сбор данных

Первым этапом реализации любой модели машинного обучения или обработки естественного языка является сбор данных.

Пожалуйста, ознакомьтесь с данными для создания интеллектуального чат-бота.

[{"tag": "welcome",
"patterns": ["Hi", "How are you", "Is any one to talk?", "Hello", "hi are you available"],
"responses": ["Hello, thanks for contacting us", "Good to see you here"," Hi there, how may I assist you?"]

        },
{"tag": "goodbye",
"patterns": ["Bye", "See you later", "Goodbye", "I will come back soon"],
"responses": ["See you later, thanks for visiting", "have a great day ahead", "Wish you Come back again soon."]
        },

{"tag": "thankful",
"patterns": ["Thanks for helping me", "Thank your guidance", "That's helpful and kind from you"],
"responses": ["Happy to help!", "Any time!", "My pleasure", "It is my duty to help you"]
        },
        {"tag": "hoursopening",
"patterns": ["What hours are you open?", "Tell your opening time?", "When are you open?", "Just your timing please"],
"responses": ["We're open every day 8am-7pm", "Our office hours are 8am-7pm every day", "We open office at 8 am and close at 7 pm"]
        },

{"tag": "payments",
"patterns": ["Can I pay using credit card?", " Can I pay using Mastercard?", " Can I pay using cash only?" ],
"responses": ["We accept VISA, Mastercard and credit card", "We accept credit card, debit cards and cash. Please don’t worry"]
        }
   ]

Вот что мы понимаем из данных

• Эти данные содержат три вещи: тег, шаблон и ответы. Тег является намерением (что является темой обсуждения).
• Данные в формате JSON.
• Шаблон — это вопрос, который пользователи задают боту.
• Ответы — это ответ, который чатбот предоставит на соответствующий вопрос / шаблон.

Шаг 2) Предварительная обработка данных.

Очень важно обрабатывать необработанные данные. Если очищенные данные поступают на машину, то модель будет реагировать более точно и более эффективно изучать данные.

Этот шаг включает в себя удаление стоп-слов, стволовых, ненужных слов и т. Д. Прежде чем продолжить, важно загрузить данные и преобразовать их в фрейм данных. Пожалуйста, смотрите код ниже для таких

import json
json_file =’intents.json'
with open('intents.json','r') as f:
    data = json.load(f)

Объяснение КОДА.

1. Поскольку данные представлены в формате json, следовательно, json импортируется
2. Файл хранится в переменной
3. Файл открыт и загружен в переменную данных

Теперь данные импортируются, и пришло время преобразовать данные во фрейм данных. Пожалуйста, смотрите код ниже, чтобы увидеть следующий шаг

import pandas as pd
df = pd.DataFrame(data)
df['patterns'] = df['patterns'].apply(', '.join) 

Объяснение КОДА

1. Данные преобразуются во фрейм данных с использованием панд, которые были импортированы выше.

2. Он преобразует список в шаблонах столбцов в строку.

from nltk.corpus import stopwords
from textblob import Word
stop = stopwords.words('english')
df['patterns'] = df['patterns'].apply(lambda x:' '.join(x.lower() for x in x.split()))
df['patterns't']= df['patterns''].apply(lambda x: ' '.join(x for x in x.split() if x not in string.punctuation)
df['patterns']= df['patterns'].str.replace('[^\w\s]','')
df['patterns']= df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if  not x.isdigit()))
df['patterns'] = df['patterns'].apply(lambda x:' '.join(x for x in x.split() if not x in stop))
df['patterns'] = df['patterns'].apply(lambda x: " ".join([Word(word).lemmatize() for word in x.split()]))

Код Объяснение

1. Английские стоп-слова импортируются с использованием модуля стоп-слов из набора инструментов nltk

2. Все слова текста преобразуются в нижний регистр с использованием для условия и лямбда-функции. Лямбда-функция является анонимной функцией.

3. Все строки текста во фрейме данных проверяются на пунктуацию строк, и они фильтруются.

4. Такие символы, как цифры или точки, удаляются с помощью регулярного выражения.

5. Цифры удалены из текста.

6. Стоп-слова на этом этапе удаляются.

7. Слова теперь фильтруются, и разные формы одного и того же слова удаляются с помощью лемматизации. На этом мы завершили предварительную обработку данных.

Вывод:

, patterns, responses, tag
0,hi one talk hello hi available,"['Hello, thanks for contacting us', 'Good to see you here', ' Hi there, how may I assist you?']",welcome
1,bye see later goodbye come back soon,"['See you later, thanks for visiting', 'have a great day ahead', 'Wish you Come back again soon.']",goodbye
2,thanks helping thank guidance thats helpful kind,"['Happy to help!', 'Any time!', 'My pleasure', 'It is my duty to help you']",thankful
3,hour open tell opening time open timing please,"[""We're open every day 8am-7pm"", 'Our office hours are 8am-7pm every day', 'We open office at 8 am and close at 7 pm']",hoursopening
4,pay using credit card pay using mastercard pay using cash,"['We accept VISA, Mastercard and credit card', 'We accept credit card, debit cards and cash. Please don’t worry']",payments

Шаг 3) Построение нейронной сети с использованием word2vec

Теперь пришло время построить модель, используя модуль Gensim word2vec. Мы должны импортировать word2vec из Gensim. Давайте сделаем это, а затем построим и на последнем этапе проверим модель на данных в реальном времени.

from gensim.models import Word2Vec

Теперь мы можем успешно построить модель, используя Word2Vec. Пожалуйста, обратитесь к следующей строке кода, чтобы узнать, как создать модель с помощью Word2Vec. Текст предоставляется модели в виде списка, поэтому мы преобразуем текст из фрейма данных в список, используя приведенный ниже код

Bigger_list=[]
for i in df['patterns']
     li = list(i.split(""))
     Bigger_list.append(li)	
Model= Word2Vec(Bigger_list,min_count=1,size=300,workers=4)

Пояснения к коду

1. Создан больший_список, к которому добавляется внутренний список. Это формат, который подается на модель Word2Vec.

2. Цикл реализован, и каждая запись столбца шаблонов фрейма данных повторяется.

3. Каждый элемент шаблонов столбцов разделяется и сохраняется во внутреннем списке.

4. Внутренний список дополняется внешним списком.

5. Этот список предоставляется модели Word2Vec. Давайте разберемся с некоторыми из приведенных здесь параметров

Min_count: он будет игнорировать все слова с общей частотой ниже, чем эта.

Размер: говорит о размерности векторов слова.

Рабочие: это темы для обучения модели

Есть также другие доступные варианты, и некоторые важные объяснены ниже

Окно: Максимальное расстояние между текущим и прогнозируемым словом в предложении.

Sg: Это тренировочный алгоритм и 1 для скип-граммы и 0 для непрерывного пакета слов. Мы обсудили это подробно выше.

Hs: если это 1, то мы используем иерархический softmax для обучения, а если 0, то используется отрицательная выборка.

Альфа: начальная скорость обучения

Давайте покажем окончательный код ниже

#list of libraries used by the code
import string
from gensim.models import Word2Vec
import logging
from nltk.corpus import stopwords
from textblob import Word
import json
import pandas as pd
#data in json format
json_file = 'intents.json'
with open('intents.json','r') as f:
    data = json.load(f)
#displaying the list of stopwords
stop = stopwords.words('english')
#dataframe
df = pd.DataFrame(data)

df['patterns'] = df['patterns'].apply(', '.join)
# print(df['patterns'])
#print(df['patterns'])
#cleaning the data using the NLP approach
print(df)
df['patterns'] = df['patterns'].apply(lambda x:' '.join(x.lower() for x in x.split()))
df['patterns']= df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if x not in string.punctuation))
df['patterns']= df['patterns'].str.replace('[^\w\s]','')
df['patterns']= df['patterns'].apply(lambda x: ' '.join(x for x in x.split() if  not x.isdigit()))
df['patterns'] = df['patterns'].apply(lambda x:' '.join(x for x in x.split() if not x in stop))
df['patterns'] = df['patterns'].apply(lambda x: " ".join([Word(word).lemmatize() for word in x.split()]))
#taking the outer list
bigger_list=[]
for i in df['patterns']:
    li = list(i.split(" "))
    bigger_list.append(li)
#structure of data to be taken by the model.word2vec
print("Data format for the overall list:",bigger_list)
#custom data is fed to machine for further processing
model = Word2Vec(bigger_list, min_count=1,size=300,workers=4)
#print(model)

Шаг 4) Сохранение модели

Модель может быть сохранена в виде корзины и формы модели. Бин это двоичный формат. Пожалуйста, смотрите строки ниже, чтобы сохранить модель

model.save("word2vec.model")
model.save("model.bin")

Объяснение приведенного выше кода

1. Модель сохраняется в виде файла .model.

2. модель сохраняется в виде файла .bin

Мы будем использовать эту модель для тестирования в реальном времени, таких как похожие слова, разнородные слова и наиболее распространенные слова.

Шаг 5) Загрузка модели и выполнение тестирования в реальном времени

Модель загружается с использованием кода ниже

model = Word2Vec.load('model.bin')

Если вы хотите вывести из него словарь, выполните команду ниже vocab = список (model.wv.vocab)

Пожалуйста, посмотрите результат

['see', 'thank', 'back', 'thanks', 'soon', 'open', 'mastercard', 'card', 'time', 'pay', 'talk', 'cash', 'one', 'please', 'goodbye', 'thats', 'helpful', 'hour', 'credit', 'hi', 'later', 'guidance', 'opening', 'timing', 'hello', 'helping', 'bye', 'tell', 'come', 'using', 'kind', 'available']	

Шаг 6) Проверка большинства похожих слов

Давайте реализовывать вещи практически

similar_words = model.most_similar('thanks')	
print(similar_words)	

Пожалуйста, посмотрите результат

[('kind', 0.16104359924793243), ('using', 0.1352398842573166), ('come', 0.11500970274209976), ('later', 0.09989878535270691), ('helping', 0.04855936020612717), ('credit', 0.04659383371472359), ('pay', 0.0329081267118454), ('thank', 0.02484947443008423), ('hour', 0.0202352125197649), ('opening', 0.018177658319473267)] 

Шаг 7) Не совпадает слово из поставленных слов

dissimlar_words = model.doesnt_match('See you later, thanks for visiting'.split())
print(dissimlar_words)

Мы предоставили слова «Увидимся позже, спасибо за посещение». Это напечатает самые разные слова из этих слов. Давайте запустим этот код и найдем результат

Результат после выполнения приведенного выше кода.

Thanks

Шаг 8) Нахождение сходства между двумя словами

Это скажет результат в вероятности подобия между двумя словами. Пожалуйста, посмотрите код ниже, как выполнить этот раздел.

similarity_two_words = model.similarity('please','see')
print("Please provide the similarity between these two words:")
print(similarity_two_words)

Результат приведенного выше кода, как показано ниже

0,13706

Вы также можете найти похожие слова, выполнив приведенный ниже код

similar = model.similar_by_word('kind')
print(similar)

Вывод вышеуказанного кода

[('credit', 0.11764447391033173), ('cash', 0.11440904438495636), ('one', 0.11151769757270813), ('hour', 0.0944807156920433), ('using', 0.0705675333738327), ('thats', 0.05206916481256485), ('later', 0.04502468928694725), ('bye', 0.03960943967103958), ('back', 0.03837274760007858), ('thank', 0.0380823090672493)] 

Вывод

• Вложение слов — это тип представления слов, который позволяет алгоритмам машинного обучения понимать слова со схожим значением.
• Вложение слов используется для вычисления похожих слов, создания группы связанных слов, функции для классификации текста, кластеризации документов, обработки естественного языка
• Word2vec является мелкой двухслойной моделью нейронной сети, обеспечивающей встраивание слов для лучшего представления слов
• Word2vec представляет слова в представлении векторного пространства. Слова представлены в виде векторов, а размещение выполняется таким образом, что слова одинакового значения появляются вместе, а разнородные слова расположены далеко.
• Word2vec использовал 2 архитектуры Continuous Bag of words (CBOW) и пропускал грамм
• CBOW в несколько раз быстрее, чем пропуск грамма, и обеспечивает более высокую частоту для часто употребляемых слов, тогда как пропуск грамма требует небольшого количества обучающих данных и представляет даже редкие слова или фразы.
• NLTK и word2vec могут использоваться вместе для создания мощных приложений
• Функция активации нейрона определяет выход этого нейрона с учетом набора входов. В word2vec. Softmax Layer (нормализованная экспоненциальная функция) — это функция выходного слоя, которая активирует или запускает каждый узел. Word2vec также имеет отрицательную выборку
• Gensim — это инструмент для моделирования тем, который реализован на python