2.2.3 Выбор активационной функции

Нелинейные активационные функции дают нейронным сетям их нелинейные свойства. Одна из самых обычных функции активации - сигмоидальная, которая является монотонно возрастающей.

На рисунке 2.5 изображены стандартная логистическая функция

а)

/(х) = —, и гиперболический тангенс /(х) = tanh(x).

Рис 2.5.

В данной работе в качестве активацнонной функции используется гиперболический тангенс [69]. Это обусловлено следующими причинами.

Симметричные активационные функции, типа гиперболического тангенса обеспечивают более быструю сходимость, чем стандартная логистическая функция;

Функция имеет непрерывную первую производную;

Функция имеет простую производную, которая может быть вычислена через ее значение, что дает экономию вычислений.