2.2.3. Сравнение МСП, RBF и СНРБ-сетей.

Рисунок 3 иллюстрирует подобную ситуацию, когда обратное

распространение не оказалось способным полностью справиться с

обучающим множеством из-за некоторого небольшого кластера данных

находящегося внутри большого кластера элементов другого класса, тогда

как у СНРБ-сети подобной проблемы не возникло.

Упоминавшаяся в начале проблема большого числа нейронов скрытого

слоя, в сети СНРБ-сети, описанной выше, стоит не так

остро из-за алгоритма обучения, имеющего некоторое сходство с

принципом построения вейвлет-разложения сигнала. В

самом деле, структура алгоритма такова, что он пытается обобщить

максимальное количество данных, исправляя «неверные»

детали на следующих шагах. Таким образом, в среднем наблюдалось,

трехкратное уменьшение числа нейронов скрытого слоя по сравнению с

простой кластеризацией.

Рисунок 3. Модельная задача с классификацией множеств. Слева направо: множества, решение полученное RBF-сетъю, решение полученное МСП.

¦ * ' J*

в

" . - о в о в LI VI v О в в в в в о!

ч1ЛГТ| о во • » Л

о "о . ~

',, - а в • ,

» • ¦ • • • -л 9 •

в* • • .

• ш в ¦ * '

• в в * •• • , в *

Рисунок 4. Модельная задача с классификацией множеств. Слева направо: множества, решение полученное RBF-сетью, решение полученное S CRB F-сетью.

"v.

Ч.

, г f г}Ц

и i v \ 4 > > Рисунок 5. Модельная задача с классификацией вложенных спиральных множеств. Слева направо: множества, решение полученное RBF-сетъю, решение полученное SCRBF-сетыо.

На рисунке 4 приведена иллюстрация того, насколько более эффективным является предложенный алгоритм по сравнению с простой кластеризацией с точки зрения количества нейронов среднего слоя задействованных для получения решения.

Для выяснения этого была рассмотрена также классическая задача о классификации ирисов Фишера.. Имеются данные измерений для 150 экземпляров ирисов, в равных частях (по 50 штук) принадлежащих к трем видам (iris setosa, iris versicolor, iris virginica). Для каждого экземпляра ириса известны 4 величины: длина чашелистика (Sepal Length), ширина чашелистика (Sepal Width), длина лепестка (Petal Length), ширина лепестка (Petal Width). Входной файл состоит из 150 строк (по 50 для каждого сорта). Пятая переменная - целевая, обозначает класс (вид) и для различных видов принимает следующие значения: 1 - setosa, 2 - versicolor, 3 - virginica. Такой способ кодировки связан с предположением Фишера, что versicolor - это гибрид setosa и virginica. Задача - подтвердить или опровергнуть это предположение. Обученная на решение этой классической задачи СНРБ- сеть, показала лучший с точки зрения количества кластеров результат по сравнению с другими методами кластерного анализа.

И на рисунке 5, который был сгенерен программой обучения, представлено решение также известной тестовой задачи для нейронных сетей - задачи о классификации двух вложенных спиральных множеств. Решение этой задачи персептроном с помощью метода обратного распространения ошибки требует большого объема машинного времени и не всегда приводит к положительному результату. Как видно из рисунка для СНРБ- сети эта задача не представляет значительной трудности. Можно сформулировать отличия СНРБ-сети от стандартной RBF-сети следующим образом:

СНРБ-нейроны используют более простую в вычислении пороговую активациоиную функцию, вместо гауссовой как в стандартной RBF;

динамическое добавление нейронов;

отдельное обучение нейронов и слоев;

гарантированная сходимость и конечность времени выполнения алгоритма обучения.

Хочется еще отметить, что в силу того обстоятельства что, как известно, сложность процедуры минимизации растет экспоненциально с ростом числа параметров, многократная минимизация небольшого числа параметров много эффективнее, чем минимизация всех их сразу, как это предлагается в методе обратного распространения ошибки. Именно поэтому, по-нейронное обучение оказывается гораздо эффективней.