2.1.1 Свёрточные нейронные сети

Типичная свёрточная нейронная сеть, предназначенная для классификации изображений, изображена на рис. 2.1.

Рис.

Свёрточная нейронная сеть является многослойной. Слои бывают двух типов: свёрточные и подвыборочные, свёрточные и подвыборочные слои чере-дуются друг с другом. В свою очередь, каждый из этих слоев состоит из набора плоскостей, причём нейроны одной плоскости имеют одинаковые веса (так называемые общие веса), ведущие ко всем локальным участкам предыдущего слоя (как в зрительной коре человека).

Изображение предыдущего слоя сканируется небольшим окном и пропускается сквозь набор весов, а результат отображается на соответствующий нейрон текущего слоя. Таким образом, набор плоскостей представляет собой карты особенностей, и каждая плоскость находит «свои» участки изображения в любом месте предыдущего слоя. Входной слой предназначен лишь для подачи входного изображения на следующий за ним слой и распределения входного изображения по плоскостям. Следующий за входным слой называется свёрточным. Каждый нейрон в плоскости свёрточного слоя получает свои входы от некоторой области предыдущего слоя (локальное рецептивное поле), то есть входное изображение предыдущего слоя сканируется небольшим окном и пропускается сквозь набор весов, а результат отображается на соответствующий нейрон свёрточного слоя. Схематически это представлено на рис. 2.2.

Рис. 2.2. Принцип работы нейронов свёрточного слоя. Слева расположен предшествующий свёрточному слою слой (входной, либо подвыборочный слой).

Таким образом, процесс функционирования нейрона свёрточного слоя у[''л задается выражением

s=1 /=1

где, у['' - нейрон к -ой плоскости свёрточного слоя; Ьк - нейронной смещение к -ой плоскости; К - размер рецептивной области нейрона; wkst- матрица синаптических коэффициентов; х - выходы нейронов предыдущего слоя.

С локальными рецептивными полями, нейроны могут учиться извлекать

элементарные визуальные особенности, типа краев, углов.

объединяются последующими слоями, для обнаружения характеристик более

высокого порядка. Важная особенность свёрточных слоев состоит в том, что,

если входное изображение смещено, выход карты особенностей будет аналогично смещен. Это свойство лежит в основе инвариантности свёрточных сетей к изменениям и искажениям входного изображения.

Полный свёрточный слой составлен из нескольких карт особенностей с различными наборами синапсов таким образом, чтобы особенности изображения могли быть извлечены в каждом местоположении. Таким образом, набор плоскостей представляет собой карты особенностей, и каждая плоскость находит «свои» участки изображения в любом месте предыдущего слоя.

Как только особенность была обнаружена, ее точное местоположение становится менее важным. Имеет значение только её приблизительное положение относительно других особенностей. Точное местоположение каждой из особенностей не важно, так как местоположение изменится для различных вариантов образа. Простой способ уменьшать точность, с которой положение от-личительных особенностей закодированы в карте особенностей, состоит в том, чтобы уменьшить пространственное разрешение карты особенностей. Это достигается использованием слоёв подвыборки, которые выполняют местное усреднение и подвыборку, сокращение разрешения карты особенностей, тем самым сокращая чувствительность выходного сигнала к изменениям и искажениям. Таким образом, сразу за свёрточным слоем находится подвыборочный слой. Этот слой также состоит из плоскостей, как правило количество плоскостей такое же как и в предыдущем слое. Восприимчивая область каждого нейрона - 2x2 область в соответствующей карте особенностей предыдущего слоя. Каж-дый нейрон вычисляет среднее своих четырех входов, умножает на синаптиче- ский коэффициент, добавляет нейронное смещение, и передает результат через активационную функцию. Схематически этот процесс представлен на рисунке 2.3.

Рис. 2.3. Принцип работы нейронов подвыборочного слоя.

Процесс функционирования нейрона подвыборочного слоя задается следующим соотношением

4 i=l /=1

Затем полученный результат подвыборки, пропускается через активаци- онную функцию.

outtJ)=f{ytJ))

Смежные нейроны в подвыборочном слое имеют непересекающиеся рецептивные области. Следовательно, карта особенностей слоя подвыборки имеет половину числа рядов и колонок карты особенности в предыдущем слое. Весовой коэффициент и смещение управляют эффектом сигмоидальной нелинейности.

Последовательно чередуясь свёрточные и подвыборочные слои, образуют «бипирамиду»: число карт особенностей от слоя к слою увеличивается, в тогда как пространственное разрешение карт особенностей уменьшается.

Большая степень устойчивости к геометрическим преобразованиям входного сигнала достигается в результате уменьшения пространственного разрешения, компенсируемого увеличением разнообразия представления (увели-чением числа карт особенностей). Принцип общих синаптических коэффициен- тов, применяемый в свёрточных нейронных сетях дает побочный эффект уменьшения свободных параметров и уменьшения объема вычислений.