乳腺癌查和诊断的基准在乳腺扫描视觉问题答案
Jiayi Zhu1, Fuxiang Huang2, Qiong Luo3,4
1Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou), Guangzhou, Guangdong, China.
Nature communications
|November 27, 2025
概括
大型视觉语言模型在乳房影像解释方面扎,表现不如随机猜测. 一个新的数据集和域优化模型,LLaVA-Mammo,显示了乳房图分析准确度的显著改善.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 乳腺癌是全球女性的主要恶性瘤.
- 通过乳房镜早期检测可以显著提高存活率.
- 大视觉语言模型 (LVLMs) 对乳房影像分析具有前景,但缺乏用于性能比较的标准化基准.
研究的目的:
- 为了解决乳房镜解读中对LVLMs缺乏标准化的评估基准的问题.
- 介绍MammoVQA,这是一个全面的数据集,用于乳房镜视觉问题答案.
- 评估当前LVLM的性能,并开发一个域优化的模型,以改进乳房影像分析.
主要方法:
- 通过统一15个公共数据集,创建MammoVQA数据集,包括图像级和考试级数据,以及问答对.
- 在MammoVQA数据集上对12个高性能LVLM (6个一般,6个医疗) 的系统评估.
- 开发和验证一个域优化的LLaVA-Mammo模型.
主要成果:
- 目前的高性能LVLM证明了诊断性能相当于随机猜测的乳房图解任务.
- 拟议的LLaVA-Mammo模型实现了显著的准确性改进:与现有的最佳模型相比,内部验证达到19.66%,外部验证达到21.21%.
- 马莫VQA数据集提供了一个标准化的基准,用于评估乳房造影中的LVLMs.
结论:
- 现有的LVLM目前对临床乳房图解来说是不可靠的.
- 马莫VQA数据集和域优化的LLaVA-Mammo模型代表了人工智能辅助乳房学方面的重大进步.
- 需要进一步的研究和开发,以提高AI模型在乳腺癌查中的可靠性和临床实用性.
