<<
>>

2.2.3. Сравнение МСП, RBF и СНРБ-сетей.

Общеизвестна проблема (пере-/недо-)обучения нейронной сети, особенно характерная для МСП (многослойного персептрона), обучаемого по методу обратного распространения ошибки, когда малое число нейронов не позволяет адекватно обучить нейронную сеть, а слишком большое их количество формирует слишком непредсказуемую функцию отклика.
Динамический рост СНРБ-сети во время процесса обучения позволяет избежать подобной проблемы. Для больших массивов данных выделяются большие области, а нейроны с небольшим порогом отслеживают малые отклонения при необходимости.

Рисунок 3 иллюстрирует подобную ситуацию, когда обратное

распространение не оказалось способным полностью справиться с

обучающим множеством из-за некоторого небольшого кластера данных

находящегося внутри большого кластера элементов другого класса, тогда

как у СНРБ-сети подобной проблемы не возникло.

Упоминавшаяся в начале проблема большого числа нейронов скрытого

слоя, в сети СНРБ-сети, описанной выше, стоит не так

остро из-за алгоритма обучения, имеющего некоторое сходство с

принципом построения вейвлет-разложения сигнала. В

самом деле, структура алгоритма такова, что он пытается обобщить

максимальное количество данных, исправляя «неверные»

детали на следующих шагах. Таким образом, в среднем наблюдалось,

трехкратное уменьшение числа нейронов скрытого слоя по сравнению с

простой кластеризацией.

Рисунок 3. Модельная задача с классификацией множеств. Слева направо: множества, решение полученное RBF-сетъю, решение полученное МСП.

¦ * ' J*

в

" . - о в о в LI VI v О в в в в в о!

ч1ЛГТ| о во • » Л

о "о . ~

',, - а в • ,

» • ¦ • • • -л 9 •

в* • • .

• ш в ¦ * '

• в в * •• • , в *

Рисунок 4. Модельная задача с классификацией множеств. Слева направо: множества, решение полученное RBF-сетью, решение полученное S CRB F-сетью.

"v.

Ч.

, г f г}Ц

и i v \ 4 > > Рисунок 5. Модельная задача с классификацией вложенных спиральных множеств. Слева направо: множества, решение полученное RBF-сетъю, решение полученное SCRBF-сетыо.

На рисунке 4 приведена иллюстрация того, насколько более эффективным является предложенный алгоритм по сравнению с простой кластеризацией с точки зрения количества нейронов среднего слоя задействованных для получения решения.

Для выяснения этого была рассмотрена также классическая задача о классификации ирисов Фишера.. Имеются данные измерений для 150 экземпляров ирисов, в равных частях (по 50 штук) принадлежащих к трем видам (iris setosa, iris versicolor, iris virginica). Для каждого экземпляра ириса известны 4 величины: длина чашелистика (Sepal Length), ширина чашелистика (Sepal Width), длина лепестка (Petal Length), ширина лепестка (Petal Width). Входной файл состоит из 150 строк (по 50 для каждого сорта). Пятая переменная - целевая, обозначает класс (вид) и для различных видов принимает следующие значения: 1 - setosa, 2 - versicolor, 3 - virginica. Такой способ кодировки связан с предположением Фишера, что versicolor - это гибрид setosa и virginica. Задача - подтвердить или опровергнуть это предположение. Обученная на решение этой классической задачи СНРБ- сеть, показала лучший с точки зрения количества кластеров результат по сравнению с другими методами кластерного анализа.

И на рисунке 5, который был сгенерен программой обучения, представлено решение также известной тестовой задачи для нейронных сетей - задачи о классификации двух вложенных спиральных множеств. Решение этой задачи персептроном с помощью метода обратного распространения ошибки требует большого объема машинного времени и не всегда приводит к положительному результату. Как видно из рисунка для СНРБ- сети эта задача не представляет значительной трудности. Можно сформулировать отличия СНРБ-сети от стандартной RBF-сети следующим образом:

СНРБ-нейроны используют более простую в вычислении пороговую активациоиную функцию, вместо гауссовой как в стандартной RBF;

динамическое добавление нейронов;

отдельное обучение нейронов и слоев;

гарантированная сходимость и конечность времени выполнения алгоритма обучения.

Хочется еще отметить, что в силу того обстоятельства что, как известно, сложность процедуры минимизации растет экспоненциально с ростом числа параметров, многократная минимизация небольшого числа параметров много эффективнее, чем минимизация всех их сразу, как это предлагается в методе обратного распространения ошибки. Именно поэтому, по-нейронное обучение оказывается гораздо эффективней.

<< | >>
Источник: Стадник Алексей Викторович. Использование искусственных нейронных сетей и вейвлет-анализа для повышения эффективности в задачах распознавания и классификации. 2004

Еще по теме 2.2.3. Сравнение МСП, RBF и СНРБ-сетей.:

  1. Темой исследования было восприятие детьми богатых людей по сравнению с бедными, а также объяснение такого
  2. ВВЕДЕНИЕ По сравнению с эпохами Древнего мира и Средних веков эпоха Нового времени охватывает
  3. Существенно расширяются и изменяются по сравнению с Русской Правдой имущественные преступления, среди которых
  4. Метафоры и сравнения
  5. НОРМАТИВНОЕ И ФУНКЦИОНАЛЬНОЕ СРАВНЕНИЕ.
  6. Место бизнес-планирования в системе концепций и методов менеджмента МСП.
  7. 4.3.2 Особенности поведения добычи нефти и обводненности продукции пласта по скважинам XIII горизонта в сравнении со скважинами Северо-Салымского месторождения
  8. 1.2. Сравнение показателей плоских солнечных коллекторов различных производителей
  9. Некоторые моменты книготоргового бизнеса
  10. Сообщества социальных сетей
  11. 1.2.2. Двунаправленная ассоциативная память (ДАП)
  12. 2.2. Самонастраивающаяся нейронная сеть радиально базисного типа.
  13. 2.2.1. Обучение радиальных нейронов СНРБ-сети.
  14. 2.2.3. Сравнение МСП, RBF и СНРБ-сетей.