2.2.7 Масштабирование входных значений

Как входами, так и выходами нейронной сети могут быть совершенно разнородные величины. Очевидно, что результаты нейросетевого моделирования не должны зависеть от единиц измерения этих величин.

Скорость сходимости обучения обычно быстрее, если среднее значение каждой входной переменной по учебному набору близко к нолю. Чтобы видеть это, рассмотрим случай, где все входные значения положительны. Веса к нейрону в первом слое обновлены, значением пропорциональным 5х, где 8 - ошибка для данного нейрона, их- входной вектор (см. уравнение 2.16). Когда все компоненты входного вектора положительны, все коррекции синаптических коэффициентов, которые придут на данный нейрон, будут с тем же самым зна- ком. В результате этого эти веса могут только все вместе уменьшиться или все вместе увеличится для данного входного значения. Таким образом, если вектор весовых коэффициентов должен изменить направление, он может сделать это только, делая зигзаги, что является неэффективным и таким образом очень медленным.

Рис. 2.8 Траектория движения алгоритма обратного распространения при неправильном представлении входных данных.

Однако, любое изменение среднего значения входных переменных от нуля сместит обновления не в том направлении и таким образом замедлит обучение. Поэтому, необходимо отмасштабировать входные значения так, чтобы среднее число по учебному набору было близко к нолю [70].

Таким образом, в данной работе все входные значения из интервала [0;255] (то есть цвет пиксела от черного до белого) были предварительно от- масштабированы в интервал [-1;+1]. 1.