Обработка естественного языка (NLP) относится к способу взаимодействия ИИ с интеллектуальными системами с использованием естественного языка, такого как английский.
Обработка естественного языка требуется, когда вы хотите, чтобы интеллектуальная система, такая как робот, работала в соответствии с вашими инструкциями, когда вы хотите услышать решение из диалоговой системы клинических экспертов и т. Д.
Сфера НЛП заключается в том, чтобы заставить компьютеры выполнять полезные задачи на естественных языках, которые используют люди. Вход и выход системы НЛП может быть:
- речь
- Письменный текст
Компоненты НЛП
В этом разделе мы узнаем о различных компонентах НЛП. Есть два компонента НЛП. Компоненты описаны ниже —
Понимание естественного языка (НЛУ)
Он включает в себя следующие задачи —
-
Отображение данного ввода на естественном языке в полезные представления.
-
Анализируя различные аспекты языка.
Отображение данного ввода на естественном языке в полезные представления.
Анализируя различные аспекты языка.
Поколение естественного языка (NLG)
Это процесс производства значимых фраз и предложений в форме естественного языка из некоторого внутреннего представления. Это включает в себя —
-
Планирование текста — это включает в себя получение соответствующего контента из базы знаний.
-
Планирование предложения — это включает в себя выбор необходимых слов, формирование значимых фраз, настройку тона предложения.
-
Реализация текста — это отображение плана предложения в структуру предложения.
Планирование текста — это включает в себя получение соответствующего контента из базы знаний.
Планирование предложения — это включает в себя выбор необходимых слов, формирование значимых фраз, настройку тона предложения.
Реализация текста — это отображение плана предложения в структуру предложения.
Трудности в НЛУ
НЛУ очень богат по форме и структуре; Однако это неоднозначно. Там могут быть разные уровни неоднозначности —
Лексическая двусмысленность
Это на очень примитивном уровне, таком как уровень слова. Например, трактует ли слово «доска» как существительное или глагол?
Неопределенность уровня синтаксиса
Предложение может быть проанализировано по-разному. Например, «Он поднял жука с красной шапочкой». — Он использовал шапку, чтобы поднять жука, или он поднял жука с красной шапочкой?
Ссылочная двусмысленность
Ссылаясь на что-то, используя местоимения. Например, Римма отправилась в Гаури. Она сказала: «Я устала». Кто конкретно устал?
НЛП Терминология
Давайте теперь посмотрим на несколько важных терминов в терминологии НЛП.
-
Фонология — это систематическое изучение звука.
-
Морфология — это изучение построения слов из примитивных значимых единиц.
-
Морфема — это примитивная единица значения в языке.
-
Синтаксис — относится к упорядочению слов для составления предложения. Это также включает определение структурной роли слов в предложении и во фразе.
-
Семантика — это касается значения слов и того, как объединить слова в значимые фразы и предложения.
-
Прагматика — это касается использования и понимания предложений в различных ситуациях и того, как это влияет на интерпретацию предложения.
-
Дискурс. Он касается того, как непосредственно предшествующее предложение может повлиять на толкование следующего предложения.
-
Мир знаний — включает в себя общие знания о мире.
Фонология — это систематическое изучение звука.
Морфология — это изучение построения слов из примитивных значимых единиц.
Морфема — это примитивная единица значения в языке.
Синтаксис — относится к упорядочению слов для составления предложения. Это также включает определение структурной роли слов в предложении и во фразе.
Семантика — это касается значения слов и того, как объединить слова в значимые фразы и предложения.
Прагматика — это касается использования и понимания предложений в различных ситуациях и того, как это влияет на интерпретацию предложения.
Дискурс. Он касается того, как непосредственно предшествующее предложение может повлиять на толкование следующего предложения.
Мир знаний — включает в себя общие знания о мире.
Шаги в НЛП
В этом разделе показаны различные шаги в НЛП.
Лексический анализ
Это включает в себя определение и анализ структуры слов. Лексика языка означает совокупность слов и фраз на языке. Лексический анализ делит весь кусок текста на абзацы, предложения и слова.
Синтаксический анализ (синтаксический анализ)
Он включает в себя анализ слов в предложении для грамматики и упорядочение слов таким образом, чтобы показать связь между словами. Предложение типа «Школа идет мальчику» отвергается английским синтаксическим анализатором.
Семантический анализ
Он рисует точное значение или значение словаря из текста. Текст проверен на осмысленность. Это делается путем сопоставления синтаксических структур и объектов в области задач. Семантический анализатор игнорирует такие предложения, как «горячее мороженое».
Интеграция дискурса
Смысл любого предложения зависит от значения предложения непосредственно перед ним. Кроме того, это также приводит к значению сразу следующего предложения.
Прагматический анализ
Во время этого сказанное переосмысливается на самом деле. Это включает в себя получение тех аспектов языка, которые требуют знания реального мира.