Разработка алгоритма обнаружения наростов ракушечника на сооружениях

Задачу обнаружения колоний ракушечника на видеоизображениях можно представить как задачу классификации, в которой необходимо проклассифици­ровать каждый кадр изображения в режиме реального времени на принадлеж­ность к одному из двух классов: «изображение с ракушками» (класс «Ракуш­ки») или «изображение без ракушек» (класс «Нет ракушек»).

Для решения поставленной задачи классификации изображений использо­вался статистический подход [211], который заключался в следующем. На пер­вом этапе определяется набор статистических параметров вычисленных по данным изображения, которые используются для классификации. Далее опре­деляется обучающая выборка изображений, для каждого изображения из вы­борки вычисляются заданные статистические параметры. Классификация изо­бражений в обучающей выборке выполняется вручную. Анализ статистических параметров, собранных по обучающей выборке, позволяет выявить корреляци­онные зависимости между значениями параметров и классом, к которому при­надлежат изображения.

Главной проблемой при использовании статистического подхода является определение параметров изображений, значения которых коррелируют с нали­чием ракушек в кадре. Так как наросты ракушечника имеют хаотическую фор­му и расположение в кадре, то определить указанные параметры изображения в явном виде не представлялось возможным. В предложенном нами методе ис­пользуемые для классификации изображений статистические параметры полу­чены в неявном виде с использованием метода главных компонент.

Подробная блок-схема алгоритма обработки изображения для обнаружения ракушечника в видекадрах приведена на рис. 7.5. Алгоритм состоит из сле­дующей последовательности основных шагов:

• исходное видеоизображение подвергается предварительной обработке для дальнейшего анализа;

• по результатам предварительной обработки изображения вычисляется полный вектор статистических параметров;

• полный вектор статистических параметров с использованием метода глав­ных компонент проецируется на оси первых главных компонент (это позволяет исключить избыточные коррелированные между собой параметры и сократить количество параметров используемых при классификации).

• значения первых главных компонент подаются на вход обученной вероят­ностной нейронной сети, которая собственно и выполняет процедуру класси­фикации исходного видеоизображения, вычисляя для него вероятность принад­лежности к одному из классов: «ракушки» или «нет ракушек».

Рис. 7.5. Блок-схема алгоритма обнаружения ракушечника в видеокадрах.

Статистические параметры для каждого видеокадра вычисляются по данным трех изображений, которые являются производными от оригинального цветно­го видеоизображения. Такими изображениями являются: (а) полутоновое изо­бражение с градациями серого; (б) контурное изображение с градиентами ярко-

сти, полученное обработкой полутонового изображения фильтром Лапласа 3x3; (в) изображение в стандартном цветовом пространстве XYZ. Здесь канал Y - соответствует яркости пикселя изображения, а каналы XhZсодержат инфор­мацию о цвете пикселя. Следует заметить, что цветовая информация в X и Z каналах в некоторой мере коррелированна с яркостной составляющей.

Для полутонового и градиентного изображения вычислялись следующие статистические параметры: энтропия изображения (мера количества информа­ции в изображении) и «сжатая» 16-элементная частотная гистограмма. Энтро­пия вычислялась из полной частотной гистограммы изображения по формуле где G = 256 - число полутонов в изображении;- вероятность появления к-того полутона в изображении, которая вычисляется как-

значение к-того элемента полной гистограммы изображения, N-M - число пикселей в изображении).

Энтропия является мерой количества информации в видеоизображении. Эн­тропия, вычисленная по частотной гистограмме полутонового изображения, ха­рактеризует разнообразие тонального содержания изображения, а вычисленная по частотной гистограмме контурного изображения определяет спектр значе­ний локальных градиентов яркости.

Сжатая 16-элементная гистограмма вычисляется из полной (256-элементной) частотной гистограммы. В сжатой гистограмме каждый элемент содержит сле- дующюу статистику по соответствующим ему 16 элементам полной гистограм­мы (рис. 7.6): 1) среднее значение для соответствующих элементов;

2) стандартное отклонение значений этих элементов.

Рис. 7.6. Вычисление сжатой 16-элементной гистограммы

Для изображения в цветовом пространстве XYZ собирается статистика по распределению цветовой информации в каналах XhZ. Для этого строится дву­мерная частотная гистограмма H_xz{i,f)размером 64 на 64 элемента, что дает 4096 параметров. Для существенного сжатия информации о распределении цве-

329

тов под данным гистограммы вычисляются 16 статистических пространствен­ных моментов [158] M_χχ(p,q), p,q -O_r1,:2,3.

Все перечисленные параметры были помещены в полный вектор статистиче­ских параметров, размерность которого составила 82 элемента.

Классификация изображений в данном методе выполняется нейронной се­тью, которая была обучена на изображениях обучающей выборки, выбранных случайным образом из видеозаписи реальной видеоинспекции, где имеются кадры с ракушечником. Анализ статистических параметров, вычисленных для изображений обучающей выборки, показал, что многие из 82 параметров век­тора статистики коррелированны между собой и, таким образом, являются из­быточными. Кроме того, при большой размерности входного вектора обучение нейронной сети требует больших вычислительных затрат. Для уменьшения размерности полного вектора статистических параметров был использован ме­тод главных компонент.

Метод главных компонент позволяет определить новое векторное простран­ство, которое определено набором ортогональных векторов, названных глав­ными компонентами.

Для разработанного классификатора изображений при помощи метода глав­ных компонент были получены коэффициенты для линейной редукции полного вектора статистических параметров к вектору из 5-ти первых взаимно ортого­нальных главных компонентов, суммарная дисперсия которых составляла более 80% суммарной дисперсии исходного вектора.

Используемая для классификации видеоизображений вероятностная нейрон­ная сеть имеет 5 входов (по числу главных компонентов) и 1 выход. На выходе нейронная сеть выдает вероятность наличия ракушечника в изображении. Для 330

обучения нейронной сети использовалась обучающая выборка из 205 случайно выбранных из видеозаписи подводной инспекции изображений. Изображения обучающей выборки были вручную проклассифицированы на 3 класса: а) изо­бражения, не содержащие ракушки; б) изображения, содержащие ракушки; в) изображения, возможно содержащие ракушки (похожие на ракушки). На рис. 7.7 показаны графики значений первых трех главных компонентов обу­чающей выборки. Круглыми маркерами обозначены значения соответствующие изображениям класса 1 (класс «отсутствие ракушек»), квадратные маркеры — изображениям класса 2 (класс «ракушки»), треугольные маркеры — изображе­ниям класса 3 (класс «похоже на ракушки»).

Корректность классификации с использованием обученной нейронной сети была проверена на другой тестовой выборке из 154 случайных кадров. Доля корректно классифицированных видеокадров составила около 90% кадров из тестовой выборки.

Рассмотренный алгоритм классификации был реализован в системе обработ­ки изображения в виде набора обрабатывающих фильтров, соединенных в об­рабатывающий изображения граф (см. рис. 7.8). На выходе обрабатывающего 331

графа для каждого видеокадра вычисляется вероятность наличия в этом кадре ракушечника. При превышении определенного порога (который устанавливал­ся в режиме диалога), система генерировала событие обнаружения дефекта в текущем обрабатываемом кадре. Видеокадры с обнаруженным ракушечником классифицировались системой как дефекты и сохранялись в базе данных отчета о видеоинспекции.

Для программы UWScan был разработан еще один алгоритм, который пред­назначался для определения «ключевых» кадров во входном видеопотоке для составления автоматического отчета о видеоинспекции. Ключевыми видеокад­рами являются кадры, в которых видеоизображение и его содержание значи­тельно изменилось по сравнению с предшествующими кадрами — появились (или исчезли) объекты, цвета, тона; изменилась структура кадра, и т.д. Данные видеокадры, как правило, представляют наибольший интерес при анализе ре­зультатов видеоинспекции. Данный алгоритм во многом аналогичен алгоритму обнаружения ракушечника, однако в нем не использовалась нейронная сеть. Ключевые видеокадры определялись по величине нормы разницы между пол­ными векторами статистических параметров следующих друг за другом с неко­торым интервалом видеокадрах. Как только указанная величина превышала ди­намически устанавливаемый порог, то в системе генерировалось событие обна­ружения ключевого видеокадра.

Рис. 7.8. Граф обработки изображения

Оба указанных алгоритма, реализованные в программе UWScan работали с

высоким быстродействием. Например, при размере изображения размером в 320x240 точек оба алгоритма работали в реальном масштабе времени на про­цессоре Celeron 1 ГГц для частоты смены кадров в стандарте NTSC, что состав­ляет 29.9 кадров в секунду. Процессор Pentium 4 1.8 ГГц позволял с той же час­тотой обрабатывать кадры размером 640 х 480 точек.

Таким образом, разработанная программа позволяет в автоматическом ре­жиме и в реальном масштабе времени производить контроль текущего состоя­ния и диагностику типовых дефектов различных подводных объектов: трубо­проводов, коммуникаций, портовых сооружений. Исходной информацией для программы является видеопоток, получаемый в реальном времени от видеосис­темы телеуправляемого подводного робота. Программная система позволяет гибко подстраиваться на различные типы дефектов и устойчиво работает при типичных низкокачественных подводных видеоизображениях.

7.2.