ROC-АНАЛИЗ

Для того чтобы оценить диагностическую эффективность метода с учетом последствий ложных решений, используют характеристические кривые. Они отражают взаимную зависимость ложноположительных и истинно положительных результатов.

Характеристические кривые позволяют наглядно сопоставить диагностическую эффективность различных методов исследования при обнаружении одного и того патологического процесса, сравнить различные типы дисплеев, твердые копии медицинских изображений (рентгенограмм, сцинтиграмм и др.). С этой целью организуют группу врачей-экспертов, которым предъявляют для анализа серию верифицированных медицинских изображений. Ответы экспертов кодируют по указанной выше 5-балльной системе и на основании полученных данных строят характеристические кривые каждого изучаемого метода.

С целью построения характеристических кривых результаты обследования верифицированной группы больных и здоровых распределяют в несколько групп. Если эти результаты имеют количественный характер, то их ранжируют по значению точки разделения на норму и патологию. Качественные же результаты применения изучаемого метода, например, описание рентгенологической картины, ранжируют по степени уверенности врача в диагнозе. Полученные таким образом данные сводят в таблицы и по ним строят характеристические кривые — ROC-кривые.

Например, при изучении информативности компьютерной томографии в распознавании периферического рака легких подбирают две группы пациентов - здоровых (100 человек) и больных (100человек). Маркировка томограмма закрыта для исследования, т.е. применяется слепой рандомизированный метод. Наблюдатели дают оценку обнаруженным изменениям по следующим категориям:

1.

2. Рак, вероятно, отсутствует.

3. Равновероятное наличие или отсутствие рака.

4. Вероятное наличие рака.

5. Определенно наличие рака.

Затем составляется таблица, содержащая в себе категории оценок (табл. 9.3).

Таблица 9.3

Распределение больных и здоровых по категориям решений

Для построения точек кривой необходимо вычислить их ординаты. При этом ось ординат будет соответствовать вероятности истинно положительных решений, ось абсцисс - вероятности ложно положительных решений. После некоторых преобразований параметров ось абсцисс можно обозначить как «чувствительность» метода, ось ординат - как «1 - специфичность».

Для построения первой точки на оси ординат в качестве истинно положительного решения рассматривается решение с максимальной уверенностью (категория 5), т.е. 20 наблюдений. Это число относится к числу всех патологических изменений, т. е. к 100. Получается значение первой точки ординаты - 0,2. Вероятность ложно положительного решения по этой же 5-й категории получается отнесением числа 4 (из второй строки) к числу всех здоровых людей, т.е. к 100. Получается значение точки на оси абсцисс, равное 0,04, т.е. начало графика ROC-кривой. Подобным образом строим точки ординаты и абсциссы для остальных категорий решений.

Таблица 9.4

Расчет точек построения ROC-кривой

Рис.9.3. ROC-кривая, построенная по категориям оценок

При анализе ROC-кривых придерживаются следующего принципа: чем ближе к левому верхнему углу координатной сетки расположена кривая, тем выше информативность исследуемого метода диагностики или лучше качество системы отображения данных. Если кривая прилежит к диагонали (или совпадает с ней), то информативность метода ничтожна. Необходимо отметить, что в качестве истинно положительных решений может выступать критерий «чувствительность», а в качестве ложно положительных - критерии «1 - специфичность».

Метод ROC-анализа позволяет провести сравнительную оценку информативности двух методов визуализации. Если, например, необходимо сравнить возможности рентгеновской компьютерной и магнитно-резонансной томографии в выявлении очаговых патологических изменений в печени, проводят процедуру построения ROC-кривых для каждого из рассматриваемых диагностических методов. На итоговой диаграмме (рис.9.4) устанавливается взаимоотношение ROC-кривых: та кривая, которая расположена выше, будет соответствовать более информативному методу.

Рис.9.4. ROC-кривые, построенные для сравнения информативности двух диагностическим методов. Кривая А располагается ближе к верхнему левому углу. Следовательно, она более информативна, чем кривая Б

Рис.9.5. ROC-кривые, построенные для сравнительной оценки информативности двух методов диагностики. Для количественной оценки методов используется сравнительный анализ площадей под кривыми. У кривой Вэта площадь больше, чем у кривой А.

Следовательно, метод В более информативен, чем метод А

Интересно, что метод ROC-анализа и построение ROC-кривых дают возможность оценить профессиональные навыки и квалификацию специалистов. С этой целью врачу предъявляют для опознания верифицированный архив медицинских изображений (рентгенограмм, томограмм, сцинтиграмм и др.), содержащий норму и патологию. Ответы врача соответствующим образом ранжируют и по полученным данным строят характеристические кривые. У более квалифицированного специалиста ROC-кривая имеет крутой изгиб, она вплотную приближена к верхнему левому углу системы координат.

Рис.9.6. ROC-кривые, построенные компьютерной статистической программой NCSS

Необходимо добавить, что в настоящее время на смену ручному построению ROC-кривых пришли электронные статистические пакеты (например, SPSS 12, NCSS), которые позволяют более эффективно использовать этот инструмент определения информативности лучевой диагностики (рис.9.6).

9.4.