<<
>>

1.2.11 Нейронные сети, обучаемые по методу имитации отжига.

В 50-е годы была разработана математическая модель отжига металла. Металл в процессе кристаллизации из жидкой фазы проходит через непрерывный ряд состояний, каждое из которых характеризуется значением энергии.
Атомы металла стремятся к состоянию минимума энергии - единому кристаллу. При высоких температурах атомы могут совершать движения, приводящие к переходу в состояния с большими значениями энергии. В процессе постепенного охлаждения металла возникают состояния со все более низкими значениями энергии. Алгоритм отжига - вариант итеративного подхода к решению оптимизационных задач, в котором, как в физическом отжиге, разрешаются шаги, повышающие значения функции ошибки (энергии). На основе этой математической модели в 80-е годы был создан алгоритм оптимизации, который наиболее активно применялся при решении задачи

размещения микросхем на печатной плате. Этот алгоритм обладает высокой эффективностью и используется для обучения нейронных сетей. Алгоритм отжига может быть использован д ля обучения как многослойных, так и полносвязных сетей. Что особенно важно - функции активации сети не обязательно должны быть непрерывно дифференцируемыми. В качестве функции ошибки можно использовать традиционное среднеквадратичное отклонение. Существует две разновидности алгоритма отжига:

Градиентный алгоритм с изменением величины шага по правилу отжига. На каждой итерации вычисляется направление антиградиента адаптивного рельефа и делается шаг заданной величины. В процессе обучения величина шага уменьшается с увеличением номера итерации. Большие значения шага на начальных итерациях обучения приводят к тому, что значение функции ошибки на некоторых итерациях может возрастать. В конце обучения величина шагов мала, значение функции ошибки уменьшается на каждой итерации.

Стохастический алгоритм. В процессе обучения совершаются шаги по адаптивному рельефу в случайных направлениях.

Пусть на итерации ? система находится в точке S адаптивного рельефа, характеризующейся значением энергии Е, Шаг из точки S в точку 5" со значением энергии Е' (Е*>Е), приводящий к увеличению значения функции ошибки (энергии) на величину (Е'-Е), допускается с вероятностью..

Критерий останова сети в процессе функционирования зависит от структуры сети:

функционирование многослойных сетей без обратных связей заканчивается после получения выходных сигналов нейронов последнего слоя, • для сетей циклического функционирования (полносвязных, многослойных с обратными связями и т.д.) могут вводиться различные критерии останова: останов после К итераций, останов после того, как выходные сигналы перестанут меняться. Критерием останова для процесса обучения может служить достижение некоторого заданного значения функции ошибки.

Тип входных и выходных сигналов может быть любым. Размерности входа и выхода ИНС могут быть любыми, ограничения возникают в связи со скоростью обучения - алгоритм для сетей больших размерностей медленно сходится..

Количество весовых коэффициентов или синапсов сети ограничено скоростью обучения. Для сетей с числом синапсов порядка нескольких сотен алгоритм имитации отжига очень эффективен. Для программно реализованных на персональном компьютере сетей с десятками тысяч настраиваемых параметров процесс обучения по методу отжига длится катастрофически долго.

Области применения: С помощью алгоритма отжига можно строить любые отображения X->Y, где Хи Y- векторы некоторой размерности. К построению таких отображений сводятся многие задачи распознавания образов, адаптивного управления, многопараметрической идентификации, прогнозирования и диагностики. Недостатком является низкая скорость сходимости при обучении нейронных сетей большой размерности. Главным преимуществом являются "тепловые флуктуации", заложенные в алгоритм, которые дают возможность не задерживаться в локальных минимумах. Показано, что алгоритм отжига может быть использован для поиска глобального оптимума адаптивного рельефа нейронной сети. Алгоритмы отжига различаются структурами нейронных сетей, для обучения которых они используются, а также правилами, в

б

соответствии с которыми допускаются шаги, увеличивающие энергию системы. Метод отжига использовался также для решения задач оптимизации с помощью нейронных сетей, в частности, задачи коммивояжера. Источники: [73], [3], [4], [5].

<< | >>
Источник: Стадник Алексей Викторович. Использование искусственных нейронных сетей и вейвлет-анализа для повышения эффективности в задачах распознавания и классификации. 2004

Еще по теме 1.2.11 Нейронные сети, обучаемые по методу имитации отжига.:

  1. 1.2.1 Искусственные нейронные сети в системах распознавания
  2. Радиально-базисные нейронные сети
  3. Свёрточные нейронные сети
  4. 2 Разработка топологии искусственной нейронной сети для задач выделения сюжетной части изображения
  5. 2.1.1 Свёрточные нейронные сети
  6. 2.1.2 Топология свёрточной нейронной сети
  7. 2.2 Алгоритм обучения нейронной сети для ускоренной сходимости обучения
  8. 3.1 Алгоритм обучения нейронной сети.
  9. 1.1. Искусственные нейронные сети. Их основные типы, используемые в физике.
  10. 1.2.11 Нейронные сети, обучаемые по методу имитации отжига.
  11. 1.3.2 Нейронные сети радиально-базисного типа
  12. 2.2. Самонастраивающаяся нейронная сеть радиально базисного типа.
  13. Нейронные сети
  14. Архитектура нейронной сети
  15. Общая схема обучения нейронной сети
  16. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ
  17. ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ