<<
>>

МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ

В гл. 5 детально описаны статистические методы обучения, поэтому здесь приводится лишь обзор этих методов. Однослойные сети несколько ограничены с точки зрения проблем, которые они могут решать; однако в течение многих лет отсутствовали методы обучения многослойных сетей.

Статистическое обучение обеспечивает путь решения этих проблем. По аналогии обучение сети статистическими способами подобно процессу отжига металла. В процессе отжига температура металла вначале повышается, пока атомы металла не начнут перемещаться почти свободно. Затем температура постепенно уменьшается и атомы непрерывно стремятся к минимальной энергетической конфигурации. При некоторой низкой температуре атомы переходят на низший энергетический уровень. В искусственных нейронных сетях полная величина энергии сети определяется как функция определенного множества сетевых переменных. Искусственная переменная температуры инициируется в большую величину, тем самым позволяя сетевым переменным претерпевать большие случайные изменения. Изменения, приводящие к уменьшению полной энергии сети, сохраняются; изменения, приводящие к увеличению энергии, сохраняются в соответствии с вероятностной функцией. Искусственная температура постепенно уменьшается с течением времени и сеть конвергирует в состояние минимума полной энергии. Существует много вариаций на тему статистического обучения. Например, глобальная энергия может быть определена как средняя квадратичная ошибка между полученным и желаемым выходным вектором из обучаемого множества, а переменными могут быть веса сети. В этом случае сеть может быть обучена, начиная с высокой искусственной температуры, путем выполнения следующих шагов: 1. Подать обучающий вектор на вход сети и вычислить выход согласно соответствующим сетевым правилам. 2. Вычислить значение средней квадратичной ошибки между желаемым и полученным выходными векторами.
3. Изменить сетевые веса случайным образом, затем вычислить новый выход и результирующую ошибку. Если ошибка уменьшилась, оставить измененный вес; если ошибка увеличилась, оставить измененный вес с вероятностью, определяемой распределением Больцмана. Если изменения весов не производится, то вернуть вес к его предыдущему •значению. 4. Повторить шаги с 1 по 3, постепенно уменьшая искусственную температуру. Если величина случайного изменения весов определяется в соответствии с распределением Больцмана, сходимость к глобальному минимуму будет осуществляться только в том случае, если температура изменяется обратно пропорционально логарифму прошедшего времени обучения. Это может привести к невероятной длительности процесса обучения, поэтому большое внимание уделялось поиску более быстрых методов обучения. Выбором размера шага в соответствии с распределением Коши может быть достигнуто уменьшение температуры, обратно пропорциональное обучающему времени, что существенно уменьшает время, требуемое для сходимости. Заметим, что существует класс статистических методов для нейронных сетей, в которых переменными сети являются выходы нейронов, а не веса. В гл. 5 эти алгоритмы рассматривались подробно.
<< | >>
Источник: Ф. Уоссермен. Нейрокомпьютерная техника: Теория и практика. 1992

Еще по теме МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ:

  1. 1.1. Обзор способов и методов разработки метрологического обеспечения контроля и диагностирования технического состояния автотранспортных средств.
  2. 3.1. Метод главных компонент как дополнительный слой СНРБ-сети
  3. 3.4. Методические подходы к анализу взаимосвязей показателей устойчивости и скрытых воздействий с применением экономико-математических методов
  4. Основные типы ПМК и их взаимосвязь с методами обучения
  5. Тема 5Система методов психологии
  6. СУЩНОСТЬ И ЗНАЧЕНИЕ УПРАВЛЕНИЯ. ПРИНЦИПЫ И МЕТОДЫ УПРАВЛЕНИЯ
  7. § 6. Методы педагогических исследований
  8. Процесс применения метода
  9. 17. Методы психологического исследования.
  10. Вопрос 35 Методы дифференциальной диагностики нарушений развития детей.
  11. ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВЕННОЙ ПОТРЕБНОСТИ В ПЕРСОНАЛЕ. МЕТОДЫ ОБЕСПЕЧЕНИЯ КОЛИЧЕСТВЕННОЙ ГИБКОСТИ ПЕРСОНАЛА
  12. ОЦЕНКА ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ. МЕТОДЫ ОЦЕНКИ ВНУТРИФИРМЕННЫХ ИНВЕСТИЦИЙ В ЧЕЛОВЕЧЕСКИЙ КАПИТАЛ
  13. ПРИНЦИПЫ И МЕТОДЫ НОРМИРОВАНИЯ ТРУДА. ПЕРЕСМОТР НОРМ ТРУДА
  14. ВЕКТОРНЫЕ И МНОГОКРИТЕРИАЛЬНЫЕ МЕТОДЫ ИЗМЕРЕНИЯ ПРОИЗВОДИТЕЛЬНОСТИ ТРУДА
  15. ТРУДОВЫЕ ПОКАЗАТЕЛИ: МЕТОДЫ ФОРМИРОВАНИЯ И ИСПОЛЬЗОВАНИЯ
  16. ОГЛАВЛЕНИЕ