<<
>>

ROC-АНАЛИЗ

Для того чтобы оценить диагностическую эффективность метода с учетом последствий ложных решений, используют характеристические кривые. Они отражают взаимную зависимость ложноположительных и истинно положительных результатов.

Полное название таких кривых — «операционные характеристические кривые наблюдателя» - Receiver Operating Characteristic curve или, сокращенно, ROC-curve. Поэтому часто такие кривые называют ROC-кривыми, а выполняемые для их построения действия — ROC-анализом.

Характеристические кривые позволяют наглядно сопоставить диагностическую эффективность различных методов исследования при обнаружении одного и того патологического процесса, сравнить различные типы дисплеев, твердые копии медицинских изображений (рентгенограмм, сцинтиграмм и др.). С этой целью организуют группу врачей-экспертов, которым предъявляют для анализа серию верифицированных медицинских изображений. Ответы экспертов кодируют по указанной выше 5-балльной системе и на основании полученных данных строят характеристические кривые каждого изучаемого метода.

С целью построения характеристических кривых результаты обследования верифицированной группы больных и здоровых распределяют в несколько групп. Если эти результаты имеют количественный характер, то их ранжируют по значению точки разделения на норму и патологию. Качественные же результаты применения изучаемого метода, например, описание рентгенологической картины, ранжируют по степени уверенности врача в диагнозе. Полученные таким образом данные сводят в таблицы и по ним строят характеристические кривые — ROC-кривые.

Например, при изучении информативности компьютерной томографии в распознавании периферического рака легких подбирают две группы пациентов - здоровых (100 человек) и больных (100человек). Маркировка томограмма закрыта для исследования, т.е. применяется слепой рандомизированный метод. Наблюдатели дают оценку обнаруженным изменениям по следующим категориям:

1.

Рак абсолютно отсутствует.

2. Рак, вероятно, отсутствует.

3. Равновероятное наличие или отсутствие рака.

4. Вероятное наличие рака.

5. Определенно наличие рака.

Затем составляется таблица, содержащая в себе категории оценок (табл. 9.3).

Таблица 9.3

Распределение больных и здоровых по категориям решений

Фактическое

состояние

Категории решений Всего
1 2 3 4 5
Рак имеется 4 16 20 40 20 100
Рак отсутствует 30 44 9 13 4 100

Для построения точек кривой необходимо вычислить их ординаты. При этом ось ординат будет соответствовать вероятности истинно положительных решений, ось абсцисс - вероятности ложно положительных решений. После некоторых преобразований параметров ось абсцисс можно обозначить как «чувствительность» метода, ось ординат - как «1 - специфичность».

Для построения первой точки на оси ординат в качестве истинно положительного решения рассматривается решение с максимальной уверенностью (категория 5), т.е. 20 наблюдений. Это число относится к числу всех патологических изменений, т. е. к 100. Получается значение первой точки ординаты - 0,2. Вероятность ложно положительного решения по этой же 5-й категории получается отнесением числа 4 (из второй строки) к числу всех здоровых людей, т.е. к 100. Получается значение точки на оси абсцисс, равное 0,04, т.е. начало графика ROC-кривой. Подобным образом строим точки ординаты и абсциссы для остальных категорий решений.

Каждая последующая ячейка таблицы рассчитывается как сумма текущей и всех предыдущих категорий. Иными словами значение в 4-й категории рассчитывается как сумма 5-й и 4-й: 3-й категории - сумма 5-й, 4-й и 3-й и т.д. В итого получаем таблицу (9.4) со значением всех точек для построения ROC-кривой. На основании этой таблицы строится ROC-кривая (рис. 9.3),

Таблица 9.4

Расчет точек построения ROC-кривой

Ось Значение точек ROC-кривой
Ордината 0,2 0,6 0,8 0,96 1,0
Абсцисса 0,04 0,17 0,26 0,7 1,0

Рис.9.3. ROC-кривая, построенная по категориям оценок

При анализе ROC-кривых придерживаются следующего принципа: чем ближе к левому верхнему углу координатной сетки расположена кривая, тем выше информативность исследуемого метода диагностики или лучше качество системы отображения данных. Если кривая прилежит к диагонали (или совпадает с ней), то информативность метода ничтожна. Необходимо отметить, что в качестве истинно положительных решений может выступать критерий «чувствительность», а в качестве ложно положительных - критерии «1 - специфичность».

Метод ROC-анализа позволяет провести сравнительную оценку информативности двух методов визуализации. Если, например, необходимо сравнить возможности рентгеновской компьютерной и магнитно-резонансной томографии в выявлении очаговых патологических изменений в печени, проводят процедуру построения ROC-кривых для каждого из рассматриваемых диагностических методов. На итоговой диаграмме (рис.9.4) устанавливается взаимоотношение ROC-кривых: та кривая, которая расположена выше, будет соответствовать более информативному методу.

Метод ROC- анализа позволяет определить количественную величину достоверности различия в информативности изучаемых методов. Для этого вычисляют площадь под кривыми (рис.9.5) и по специальным формулам устанавливают доверительный интервал в различии информативности методов. Принято считать, что коэффициент площади кривой, находящийся в интервале 0,9-1,0 следует рассматривать как показатель наивысшей информативности диагностического метода, 0,8-0,9 - хорошей, 0,7-0,8 - приемлемой, 0,6-0,7 - слабой, 0.5-0,6 - чрезвычайно слабой. Диагональ на приведенном рисунке отображает полное отсутствие информативности диагностического метода. Подробные сведения по ROC-анализу имеются в Интернете на соответствующих порталах.

Рис.9.4. ROC-кривые, построенные для сравнения информативности двух диагностическим методов. Кривая А располагается ближе к верхнему левому углу. Следовательно, она более информативна, чем кривая Б

Рис.9.5. ROC-кривые, построенные для сравнительной оценки информативности двух методов диагностики. Для количественной оценки методов используется сравнительный анализ площадей под кривыми. У кривой Вэта площадь больше, чем у кривой А.

Следовательно, метод В более информативен, чем метод А

Интересно, что метод ROC-анализа и построение ROC-кривых дают возможность оценить профессиональные навыки и квалификацию специалистов. С этой целью врачу предъявляют для опознания верифицированный архив медицинских изображений (рентгенограмм, томограмм, сцинтиграмм и др.), содержащий норму и патологию. Ответы врача соответствующим образом ранжируют и по полученным данным строят характеристические кривые. У более квалифицированного специалиста ROC-кривая имеет крутой изгиб, она вплотную приближена к верхнему левому углу системы координат.

Рис.9.6. ROC-кривые, построенные компьютерной статистической программой NCSS

Необходимо добавить, что в настоящее время на смену ручному построению ROC-кривых пришли электронные статистические пакеты (например, SPSS 12, NCSS), которые позволяют более эффективно использовать этот инструмент определения информативности лучевой диагностики (рис.9.6).

9.4.

<< | >>
Источник: Королюк И.П.. Медицинская информатика : Учебник / - 2 изд., перераб. и доп. - Самара : ООО «Офорт» : ГБОУ ВПО «СамГМУ».2012.- 244 с. 2012

Еще по теме ROC-АНАЛИЗ: