ROC-АНАЛИЗ
Для того чтобы оценить диагностическую эффективность метода с учетом последствий ложных решений, используют характеристические кривые. Они отражают взаимную зависимость ложноположительных и истинно положительных результатов.
Полное название таких кривых — «операционные характеристические кривые наблюдателя» - Receiver Operating Characteristic curve или, сокращенно, ROC-curve. Поэтому часто такие кривые называют ROC-кривыми, а выполняемые для их построения действия — ROC-анализом.Характеристические кривые позволяют наглядно сопоставить диагностическую эффективность различных методов исследования при обнаружении одного и того патологического процесса, сравнить различные типы дисплеев, твердые копии медицинских изображений (рентгенограмм, сцинтиграмм и др.). С этой целью организуют группу врачей-экспертов, которым предъявляют для анализа серию верифицированных медицинских изображений. Ответы экспертов кодируют по указанной выше 5-балльной системе и на основании полученных данных строят характеристические кривые каждого изучаемого метода.
С целью построения характеристических кривых результаты обследования верифицированной группы больных и здоровых распределяют в несколько групп. Если эти результаты имеют количественный характер, то их ранжируют по значению точки разделения на норму и патологию. Качественные же результаты применения изучаемого метода, например, описание рентгенологической картины, ранжируют по степени уверенности врача в диагнозе. Полученные таким образом данные сводят в таблицы и по ним строят характеристические кривые — ROC-кривые.
Например, при изучении информативности компьютерной томографии в распознавании периферического рака легких подбирают две группы пациентов - здоровых (100 человек) и больных (100человек). Маркировка томограмма закрыта для исследования, т.е. применяется слепой рандомизированный метод. Наблюдатели дают оценку обнаруженным изменениям по следующим категориям:
1.
Рак абсолютно отсутствует.2. Рак, вероятно, отсутствует.
3. Равновероятное наличие или отсутствие рака.
4. Вероятное наличие рака.
5. Определенно наличие рака.
Затем составляется таблица, содержащая в себе категории оценок (табл. 9.3).
Таблица 9.3
Распределение больных и здоровых по категориям решений
| Фактическое состояние | Категории решений | Всего | ||||
| 1 | 2 | 3 | 4 | 5 | ||
| Рак имеется | 4 | 16 | 20 | 40 | 20 | 100 |
| Рак отсутствует | 30 | 44 | 9 | 13 | 4 | 100 |
Для построения точек кривой необходимо вычислить их ординаты. При этом ось ординат будет соответствовать вероятности истинно положительных решений, ось абсцисс - вероятности ложно положительных решений. После некоторых преобразований параметров ось абсцисс можно обозначить как «чувствительность» метода, ось ординат - как «1 - специфичность».
Для построения первой точки на оси ординат в качестве истинно положительного решения рассматривается решение с максимальной уверенностью (категория 5), т.е. 20 наблюдений. Это число относится к числу всех патологических изменений, т. е. к 100. Получается значение первой точки ординаты - 0,2. Вероятность ложно положительного решения по этой же 5-й категории получается отнесением числа 4 (из второй строки) к числу всех здоровых людей, т.е. к 100. Получается значение точки на оси абсцисс, равное 0,04, т.е. начало графика ROC-кривой. Подобным образом строим точки ординаты и абсциссы для остальных категорий решений.
Каждая последующая ячейка таблицы рассчитывается как сумма текущей и всех предыдущих категорий. Иными словами значение в 4-й категории рассчитывается как сумма 5-й и 4-й: 3-й категории - сумма 5-й, 4-й и 3-й и т.д. В итого получаем таблицу (9.4) со значением всех точек для построения ROC-кривой. На основании этой таблицы строится ROC-кривая (рис. 9.3),Таблица 9.4
Расчет точек построения ROC-кривой
| Ось | Значение точек ROC-кривой | ||||
| Ордината | 0,2 | 0,6 | 0,8 | 0,96 | 1,0 |
| Абсцисса | 0,04 | 0,17 | 0,26 | 0,7 | 1,0 |
Рис.9.3. ROC-кривая, построенная по категориям оценок
При анализе ROC-кривых придерживаются следующего принципа: чем ближе к левому верхнему углу координатной сетки расположена кривая, тем выше информативность исследуемого метода диагностики или лучше качество системы отображения данных. Если кривая прилежит к диагонали (или совпадает с ней), то информативность метода ничтожна. Необходимо отметить, что в качестве истинно положительных решений может выступать критерий «чувствительность», а в качестве ложно положительных - критерии «1 - специфичность».
Метод ROC-анализа позволяет провести сравнительную оценку информативности двух методов визуализации. Если, например, необходимо сравнить возможности рентгеновской компьютерной и магнитно-резонансной томографии в выявлении очаговых патологических изменений в печени, проводят процедуру построения ROC-кривых для каждого из рассматриваемых диагностических методов. На итоговой диаграмме (рис.9.4) устанавливается взаимоотношение ROC-кривых: та кривая, которая расположена выше, будет соответствовать более информативному методу.
Метод ROC- анализа позволяет определить количественную величину достоверности различия в информативности изучаемых методов. Для этого вычисляют площадь под кривыми (рис.9.5) и по специальным формулам устанавливают доверительный интервал в различии информативности методов. Принято считать, что коэффициент площади кривой, находящийся в интервале 0,9-1,0 следует рассматривать как показатель наивысшей информативности диагностического метода, 0,8-0,9 - хорошей, 0,7-0,8 - приемлемой, 0,6-0,7 - слабой, 0.5-0,6 - чрезвычайно слабой. Диагональ на приведенном рисунке отображает полное отсутствие информативности диагностического метода. Подробные сведения по ROC-анализу имеются в Интернете на соответствующих порталах.
Рис.9.4. ROC-кривые, построенные для сравнения информативности двух диагностическим методов. Кривая А располагается ближе к верхнему левому углу. Следовательно, она более информативна, чем кривая Б
Рис.9.5. ROC-кривые, построенные для сравнительной оценки информативности двух методов диагностики. Для количественной оценки методов используется сравнительный анализ площадей под кривыми. У кривой Вэта площадь больше, чем у кривой А.
Следовательно, метод В более информативен, чем метод А
Интересно, что метод ROC-анализа и построение ROC-кривых дают возможность оценить профессиональные навыки и квалификацию специалистов. С этой целью врачу предъявляют для опознания верифицированный архив медицинских изображений (рентгенограмм, томограмм, сцинтиграмм и др.), содержащий норму и патологию. Ответы врача соответствующим образом ранжируют и по полученным данным строят характеристические кривые. У более квалифицированного специалиста ROC-кривая имеет крутой изгиб, она вплотную приближена к верхнему левому углу системы координат.
Рис.9.6. ROC-кривые, построенные компьютерной статистической программой NCSS
Необходимо добавить, что в настоящее время на смену ручному построению ROC-кривых пришли электронные статистические пакеты (например, SPSS 12, NCSS), которые позволяют более эффективно использовать этот инструмент определения информативности лучевой диагностики (рис.9.6).
9.4.