Учебники

8) Нейронная сеть обратного распространения

Октябрь 28, 2019

Прежде чем мы изучим Backpropagation, давайте разберемся:

Что такое искусственные нейронные сети?

Нейронная сеть — это группа подключенных модулей ввода / вывода, где каждое соединение имеет вес, связанный с его компьютерными программами. Это помогает вам строить прогностические модели из больших баз данных. Эта модель основана на нервной системе человека. Это помогает вам проводить понимание изображения, обучение человека, компьютерную речь и т. Д.

Что такое обратное распространение?

Обратное распространение — это сущность обучения нейронной сети. Это метод точной настройки весов нейронной сети на основе частоты ошибок, полученных в предыдущую эпоху (т. Е. Итерации). Правильная настройка весов позволяет снизить частоту появления ошибок и повысить надежность модели за счет увеличения ее обобщения.

Обратное распространение — это краткая форма «обратного распространения ошибок». Это стандартный метод обучения искусственных нейронных сетей. Этот метод помогает рассчитать градиент функции потерь по отношению ко всем весам в сети.

В этом уроке вы узнаете:

Как работает обратное распространение: простой алгоритм

Рассмотрим следующую диаграмму

Как работает обратное распространение
  1. Входы X поступают через предварительно подключенный путь
  2. Ввод моделируется с использованием реальных весов W. Веса обычно выбираются случайным образом.
  3. Рассчитайте выход для каждого нейрона от входного слоя до скрытых слоев и до выходного слоя.
  4. Рассчитать ошибку в выходных данных
ErrorB= Actual Output – Desired Output
  1. Вернитесь от выходного слоя к скрытому слою, чтобы отрегулировать вес таким образом, чтобы ошибка уменьшалась.

Продолжайте повторять процесс, пока не будет достигнут желаемый результат

Зачем нам нужно обратное распространение?

Наиболее заметные преимущества Backpropagation:

  • Обратное распространение быстро, просто и легко для программирования
  • У него нет параметров для настройки, кроме номеров ввода
  • Это гибкий метод, поскольку он не требует предварительных знаний о сети
  • Это стандартный метод, который в целом работает хорошо
  • Не нужно никакого особого упоминания об особенностях функции, которую нужно изучить.

Что такое сеть пересылки?

Нейронная сеть с прямой связью — это искусственная нейронная сеть, в которой узлы никогда не образуют цикл. Этот тип нейронной сети имеет входной слой, скрытые слои и выходной слой. Это первый и самый простой тип искусственной нейронной сети.

Типы сетей обратного распространения

Два типа сетей обратного распространения:

  • Статическое обратное распространение
  • Периодическое обратное распространение

Статическое обратное распространение:

Это один из видов сети обратного распространения, который создает отображение статического входа для статического вывода. Это полезно для решения статических проблем классификации, таких как оптическое распознавание символов.

Периодическое обратное распространение:

Периодическое обратное распространение подается вперед до достижения фиксированного значения. После этого ошибка вычисляется и распространяется в обратном направлении.

Основное различие между этими двумя методами состоит в том, что отображение является быстрым при статическом обратном распространении, в то время как оно не является статическим при повторном обратном распространении.

История обратного распространения

  • В 1961 году Дж. Келли, Генри Артур и Э. Брайсон вывели основную концепцию непрерывного обратного распространения в контексте теории управления.
  • В 1969 году Брайсон и Хо дали многоступенчатый метод динамической оптимизации системы.
  • В 1974 году Вербос заявил о возможности применения этого принципа в искусственной нейронной сети.
  • В 1982 году Хопфилд привнес свою идею нейронной сети.
  • В 1986 году усилиями Дэвида Э. Румелхарта, Джеффри Э. Хинтона, Рональда Дж. Уильямса бэкпропаганда получила признание.
  • В 1993 году Ван был первым, кто выиграл международный конкурс по распознаванию образов с помощью метода обратного распространения.

Ключевые моменты обратного распространения

  • Упрощает структуру сети за счет взвешенных элементов, которые оказывают наименьшее влияние на обученную сеть
  • Вам нужно изучить группу входных и активационных значений, чтобы разработать взаимосвязь между входным и скрытым слоями модулей.
  • Это помогает оценить влияние данной входной переменной на выход сети. Знания, полученные в результате этого анализа, должны быть представлены в правилах.
  • Обратное распространение особенно полезно для глубоких нейронных сетей, работающих в подверженных ошибкам проектах, таких как распознавание изображений или речи.
  • Обратное распространение использует преимущества цепочки, а правила мощности позволяют обратному распространению работать с любым количеством выходов.

Лучшая практика обратного распространения

Обратное распространение можно объяснить с помощью аналогии «Шнурок для обуви»

Слишком мало напряжения =

  • Не достаточно стеснительный и очень свободный

Слишком много напряжения =

  • Слишком много ограничений (перетренированность)
  • Отнимает слишком много времени (относительно медленный процесс)
  • Более высокая вероятность взлома

Потянув один шнурок больше, чем другой =

  • Дискомфорт (уклон)

Недостатки использования Backpropagation

  • Фактическая производительность обратного распространения по конкретной проблеме зависит от входных данных.
  • Обратное распространение может быть очень чувствительным к шумным данным
  • Вам нужно использовать матричный подход для обратного распространения вместо мини-пакета.

Резюме

  • Нейронная сеть — это группа подключенных модулей ввода / вывода, где каждое соединение имеет вес, связанный с его компьютерными программами.
  • Обратное распространение — это краткая форма «обратного распространения ошибок». Это стандартный метод обучения искусственных нейронных сетей
  • Обратное распространение быстро, просто и легко для программирования
  • Нейронная сеть с прямой связью — это искусственная нейронная сеть.
  • Два типа сетей обратного распространения: 1) статическое обратное распространение 2) периодическое обратное распространение
  • В 1961 году Дж. Келли, Генри Артур и Э. Брайсон вывели основную концепцию непрерывного обратного распространения в контексте теории управления.
  • Обратное распространение упрощает структуру сети, удаляя взвешенные ссылки, которые оказывают минимальное влияние на обученную сеть.
  • Это особенно полезно для глубоких нейронных сетей, работающих над подверженными ошибкам проектами, такими как распознавание изображений или речи.
  • Самым большим недостатком Backpropagation является то, что он может быть чувствительным к шумным данным.

 

51
Share: