От статичной картинки к действию
Авторы ReXSonoVQA предложили набор из 514 видеоклипов и 514 вопросов о процессе ультразвукового исследования. Задания касаются связи действий с целью, устранения артефактов и понимания последовательности процедуры.
В работе сравниваются несколько мультимодальных моделей без специальной настройки под задания. По описанию авторов, они извлекают часть информации из видео, но вопросы о том, как исправить проблему, остаются трудными. Страница arXiv указывает также публикацию в материалах CHIL 2026: называть работу только непроверенным препринтом уже неточно.
Что проверяется кроме узнавания органа
514 заданий разделены на 249 вопросов с выбором ответа и 265 со свободным ответом. Проверяются связь действия с целью, устранение артефактов и планирование процедуры. Такой состав важен: назвать структуру на кадре проще, чем объяснить, зачем врач изменил наклон датчика.
В сравнении участвуют Gemini 3 Pro, Qwen3.5-397B, LLaVA-Video-72B и Seed 2.0 Pro без дообучения на этих заданиях. Текстовый вариант без видео нужен как контроль: он показывает, можно ли ответить по формулировке вопроса, вообще не поняв движения на записи.
Как читать результат benchmark
Авторы отмечают особенно небольшое преимущество видео над текстом в заданиях на устранение проблем. Это ограничивает вывод о причинном понимании: модель может знать типичный совет, но не устанавливать причину именно показанного артефакта.
Для учебного помощника перспективна проверка объяснений по последовательности кадров. Для автономного сканирования дополнительно нужны управление действиями и испытания безопасности; тест вопросов и ответов этого не проверяет. 514 клипов не следует представлять как 514 успешных автономных исследований.
Что именно проверяет такой тест
Его ценность — в попытке выйти за пределы узнавания изображения. Объяснение действия требует учитывать последовательность и контекст, а не только назвать увиденную структуру. Но результат на исследовательском наборе не равен готовности помогать врачу в любой клинической ситуации.
Для оценки подобных работ полезно смотреть на происхождение видео, способы проверки ответов и различие между тестовыми заданиями и реальной работой. Особенно интересно, замечает ли модель недостаток информации или отвечает уверенно в любом случае.
Зачем сравнивать ответы с видео и без него
Авторы отмечают небольшой выигрыш над текстовым вариантом в заданиях на устранение проблем. Это важная проверка: правильный ответ ещё не доказывает, что модель использовала последовательность кадров, а не общие знания из формулировки вопроса.
Для будущего разбора стоит разделять узнавание изображения, объяснение действия и предложение следующего шага. Это разные требования к помощнику. Исследовательский набор способен выявить слабые места, но не устанавливает безопасность применения в кабинете.
Статус научной публикации
ReXSonoVQA: версия arXiv v3 от 17 апреля 2026 года; в записи указана публикация CHIL 2026, PMLR 333, страницы 427–447. Набор содержит 514 видеоклипов и 514 вопросов. Статус и ссылки сверены 2 октября 2026 года. Публикация результатов не подтверждает готовность клинического продукта или разрешение на его применение.
Понимание процесса нужно проверять
Нам нравится сам вопрос исследования: понимает ли система процесс, а не только изображение? Он ближе к реальной сложности ультразвука, чем соревнование по описанию одиночных кадров.
При этом мы бы не превращали исследовательский результат в прогноз скорой замены специалиста. Гораздо полезнее использовать такие тесты, чтобы находить слабые места будущих помощников и формулировать требования к их проверке.