Учебный редакционный материал. Числовые примеры условные и не описывают конкретную УЗ-методику.
В новости об алгоритме можно встретить AUC 0,90 и тут же мысленно перевести это в «90% диагнозов правильные». Так делать нельзя. Прежде чем оценивать обещания ИИ, стоит разделить три вопроса: умеет ли модель ранжировать риск, верны ли её вероятности и что происходит при конкретном пороге решения.
Что показывает AUC
Площадь под ROC-кривой описывает различение групп при изменении порога. Она не равна доле правильных ответов при одной выбранной границе. Значение 0,90 само по себе не сообщает, сколько пациентов направят на дополнительную проверку и сколько заболеваний пропустят.
Вероятность тоже надо проверять
Рассмотрим вымышленный пример: две модели располагают пациентов в одинаковом порядке риска, но одна выдаёт всем очень высокие вероятности, другая — более умеренные. Их ранжирование может совпадать, тогда как соответствие предсказанных вероятностей наблюдаемым исходам различается. Это вопрос калибровки. Красивой ROC-кривой для ответа недостаточно.
Как сравнивали с врачом?
При чтении исследования выпишите, видел ли врач анамнез, динамические клипы и предыдущие исследования или только одну картинку. Уточните, одинаковы ли входные данные у врача и модели. Сравнение разных условий может отвечать на интересный исследовательский вопрос, но не обязательно воспроизводит реальную консультацию.
Отдельно проверьте, исследовали ли самостоятельный алгоритм или работу врача с его подсказкой. Превосходство первой схемы на отобранных кадрах не доказывает пользы второй в ежедневном потоке. Для внедрения важны конкретное назначение и условия проверки.
Новые пациенты — отдельный экзамен
Данные для обучения и оценки должны быть разделены так, чтобы изображения одного пациента не создавали скрытой утечки между группами. Внешняя проверка в другом центре помогает оценить переносимость. Название «тестовая выборка» ещё не говорит, насколько она независима: ищите описание её происхождения.
Карточка для библиотеки
Сохраните назначение модели, число пациентов, типы входных данных, способ подтверждения, AUC с интервалом, калибровку, показатели при выбранном пороге и результаты независимой проверки. В графе «чего пока не знаем» запишите ограничения. Такая карточка полезнее рекламного рейтинга: она оставляет место для обоснованного интереса без преждевременного вывода о замене врача.
Источники
BMJ · Developing clinical prediction models: a step-by-step guide
BMJ · Evaluation of clinical prediction models: external validation
Учебный пример. Один алгоритм, два порога
Допустим, модель присвоила баллы пяти случаям с заболеванием и пяти без него. При пороге 0,5 она правильно выделила четыре случая с заболеванием и ошибочно отметила два без него. Чувствительность составила 4 из 5, специфичность — 3 из 5. Если поднять порог, модель может выделить только три случая с заболеванием и ошибочно отметить один без него. Получим 3 из 5 и 4 из 5 соответственно. ROC-кривая показывает изменение этих характеристик при переборе порогов. AUC при смене рабочего порога остаётся прежней, поскольку порядок исходных баллов остался тем же.
Проверьте, насколько надёжен результат
AUC можно представить как вероятность того, что случай с заболеванием получит более высокий балл, чем случай без заболевания, при случайном выборе пары и с учётом половины совпадений. В малой выборке несколько перестановок сильно меняют результат. Поэтому при сравнении моделей ищите доверительные интервалы и сведения о том, проверялись ли обе модели на одних пациентах. Если да, оценки зависимы. Для сравнения таких кривых применяют подходы, учитывающие зависимость, например метод DeLong.
Что запросить перед использованием
Определите, какое действие должно последовать за результатом модели. Для отбора на повторное исследование и для изменения тактики могут потребоваться разные пороги. Запросите таблицу ошибок на выбранном пороге и долю исследований, для которых модель не выдала пригодный ответ. Если балл показывают как вероятность, отдельно проверьте калибровку: насколько часто состояние действительно подтверждается среди пациентов с похожим прогнозом. Хорошее ранжирование само по себе не гарантирует точных вероятностей.