ReXSonoVQA: понимает ли ИИ, что врач делает во время УЗИ?

От статичной картинки к действию

Авторы ReXSonoVQA предложили набор из 514 видеоклипов и 514 вопросов о процессе ультразвукового исследования. Задания касаются связи действий с целью, устранения артефактов и понимания последовательности процедуры.

В работе сравниваются несколько мультимодальных моделей без специальной настройки под задания. По описанию авторов, они извлекают часть информации из видео, но вопросы о том, как исправить проблему, остаются трудными. Страница arXiv указывает также публикацию в материалах CHIL 2026: называть работу только непроверенным препринтом уже неточно.

Что проверяется кроме узнавания органа

514 заданий разделены на 249 вопросов с выбором ответа и 265 со свободным ответом. Проверяются связь действия с целью, устранение артефактов и планирование процедуры. Такой состав важен: назвать структуру на кадре проще, чем объяснить, зачем врач изменил наклон датчика.

В сравнении участвуют Gemini 3 Pro, Qwen3.5-397B, LLaVA-Video-72B и Seed 2.0 Pro без дообучения на этих заданиях. Текстовый вариант без видео нужен как контроль: он показывает, можно ли ответить по формулировке вопроса, вообще не поняв движения на записи.

Как читать результат benchmark

Авторы отмечают особенно небольшое преимущество видео над текстом в заданиях на устранение проблем. Это ограничивает вывод о причинном понимании: модель может знать типичный совет, но не устанавливать причину именно показанного артефакта.

Для учебного помощника перспективна проверка объяснений по последовательности кадров. Для автономного сканирования дополнительно нужны управление действиями и испытания безопасности; тест вопросов и ответов этого не проверяет. 514 клипов не следует представлять как 514 успешных автономных исследований.

Что именно проверяет такой тест

Его ценность — в попытке выйти за пределы узнавания изображения. Объяснение действия требует учитывать последовательность и контекст, а не только назвать увиденную структуру. Но результат на исследовательском наборе не равен готовности помогать врачу в любой клинической ситуации.

Для оценки подобных работ полезно смотреть на происхождение видео, способы проверки ответов и различие между тестовыми заданиями и реальной работой. Особенно интересно, замечает ли модель недостаток информации или отвечает уверенно в любом случае.

Зачем сравнивать ответы с видео и без него

Авторы отмечают небольшой выигрыш над текстовым вариантом в заданиях на устранение проблем. Это важная проверка: правильный ответ ещё не доказывает, что модель использовала последовательность кадров, а не общие знания из формулировки вопроса.

Для будущего разбора стоит разделять узнавание изображения, объяснение действия и предложение следующего шага. Это разные требования к помощнику. Исследовательский набор способен выявить слабые места, но не устанавливает безопасность применения в кабинете.

Статус научной публикации

ReXSonoVQA: версия arXiv v3 от 17 апреля 2026 года; в записи указана публикация CHIL 2026, PMLR 333, страницы 427–447. Набор содержит 514 видеоклипов и 514 вопросов. Статус и ссылки сверены 2 октября 2026 года. Публикация результатов не подтверждает готовность клинического продукта или разрешение на его применение.