<<
>>

Активационные функции

Сигнал NET далее, как правило, преобразуется активационной функцией F и дает выходной нейронный сигнал OUT. Активационная функция может быть обычной линейной функцией OUT = K(NET), где К – постоянная, пороговой функции OUT = 1, если NET > T, OUT = 0 в остальных случаях, где Т – некоторая постоянная пороговая величина, или же функцией, более точно моделирующей нелинейную передаточную характеристику биологического нейрона и представляющей нейронной сети большие возможности.

Рис. 1.3. Искусственный нейрон с активационной функцией На рис. 1.3 блок, обозначенный F, принимает сигнал NET и выдает сигнал OUT. Если блок F сужает диапазон изменения величины NET так, что при любых значениях NET значения OUT принадлежат некоторому конечному интервалу, то F называется «сжимающей» функцией. В качестве «сжимающей» функции часто используется логистическая или «сигмоидальная» (S-образная) функция, показанная на рис. 1.4а. Эта функция математически выражается как F(x) = 1/(1 + е-x). Таким образом, . По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины OUT к вызвавшему его небольшому приращению величины NET. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным. Гроссберг (1973) обнаружил, что подобная нелинейная характеристика решает поставленную им дилемму шумового насыщения. Каким образом одна и та же сеть может обрабатывать как слабые, так и сильные сигналы? Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал.
Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей (случайными флуктуациями), которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Центральная область логистической функции, имеющая большой коэффициент усиления, решает проблему обработки слабых сигналов, в то время как области с падающим усилением на положительном и отрицательном концах подходят для больших возбуждений. Таким образом, нейрон функционирует с большим усилением в широком диапазоне уровня входного сигнала. . Рис. 1.4а. Сигмоидальная логистическая функция Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто используется биологами в качестве математической модели активации нервной клетки. В качестве активационной функции искусственной нейронной сети она записывается следующим образом: OUT = th(x). Рис. 1.4б. Функция гиперболического тангенса Подобно логистической функции гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат, и в точке NET = 0 значение выходного сигнала OUT равно нулю (см. рис. 1.4б). В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что оказывается выгодным для ряда сетей (см. гл. 3). Рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что в модели верно схвачены важнейшие черты биологического нейрона.
<< | >>
Источник: Ф. Уоссермен. Нейрокомпьютерная техника: Теория и практика. 1992

Еще по теме Активационные функции:

  1. Радиально-базисные нейронные сети
  2. 2.1.2 Топология свёрточной нейронной сети
  3. 2.2.3 Выбор активационной функции
  4. 2.2.4 Обоснование целевых значений
  5. 2.2.5 Инициализация синаптических коэффициентов
  6. 2.2.1. Обучение радиальных нейронов СНРБ-сети.
  7. 2.2.2. Обучение третьего слоя.
  8. Программа «Психология человека»
  9. 1.3. Процессы адаптации в свете личностно- ориентированного подхода к образованию
  10. 8. Концепция трех функциональных блоков мозга А.Р.Лурия: локализация и функция. Основные принципы работы трех функциональных блоков мозга.
  11. 36. Нарушения внимания при локальных поражениях мозга. Методы исследования нарушений внимания.
  12. 42. Нейропсихологические синдромы поражения передних отделов коры больших полушарий: премоторных отделов, коры префронтальной области.
  13. Вопрос № 34. Память и первый функциональный блок мозга. Амнестический синдром.
  14. 12. КЛИНИЧЕСКИЕ ПРОЯВЛЕНИЯ СИНДРОМА ДЕФИЦИТА ВНИМАНИЯ И ГИПЕРАКТИВНОСТИ. НЕЙРОПСИХОЛОГИЧЕСКИЕ ПРИЧИНЫ И МЕХАНИЗМЫ СИНДРОМА ДЕФИЦИТА ВНИМАНИЯ
  15. Активационные функции
  16. МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ
  17. ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ
  18. 2.2.6. ИММУНОЛОГИЧЕСКИЙ ГОМЕОСТАЗ, ИММУННЫЙ НАДЗОР, ИММУНОДЕПРЕССИЯ И КАНЦЕРОГЕНЕЗ
  19. 1.2. Особенности иммунологического воспалении у больных бронхиальной астмой