多视图和多尺度对齐用于对比的语言图像预训练在乳房摄影
Yuexi Du1, John A Onofrey1,2,3, Nicha C Dvornek1,2
1Department of Biomedical Engineering, Yale University, New Haven, CT, USA.
Information processing in medical imaging : proceedings of the ... conference
|September 25, 2025
概括
我们介绍了一种使用对比性语言图像预训练 (CLIP) 的新方法进行乳房镜分析. 我们的方法解决了数据的局限性,并提高了关键任务的性能,为乳腺癌查提供了更有效的模型.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 对比性语言图像预训练 (CLIP) 在医学成像方面表现有前途,但需要大量的数据和计算能力.
- 目前的CLIP应用仅限于数据丰富的模式,如胸部X射线,忽略了像乳房镜像这样的未经探索的领域.
- 乳腺造影具有独特的挑战,包括稀缺的标记数据,具有小兴趣区域的高分辨率图像和阶级不平衡.
研究的目的:
- 调整完整的CLIP模型用于乳房镜分析,克服现有的数据和计算限制.
- 开发新的技术,利用多视图乳房学数据,并加强对详细特征的关注.
- 通过对医疗知识进行预训练的大型语言模型的参数有效微调来解决数据限制.
主要方法:
- 开发了一个专门的监督框架,利用乳房影像的多视图性质.
- 设计了一个对称的局部对齐模块,以提高对高分辨率图像细节的关注度.
- 集成的参数效率微调大语言模型与医疗预训练.
主要成果:
- 拟议的多视图和多尺度对齐 (MaMA) 方法在三个不同的任务中表现出卓越的性能.
- 在大型EMBED和RSNA-Mammo乳房造影数据集上进行评估时,MaMA的表现超过了最先进的基线.
- 在显著减少的模型大小 (52%的最大基线) 实现了可比结果.
结论:
- 马马法提供了有效和高效的适应CLIP进行乳房图分析.
- 这种方法成功地解决了数据稀缺性和乳房镜中的图像复杂性等挑战.
- 这些发现表明,人工智能在尚未探索的医学成像模式中取得进展的前景很大.
更多相关视频
07:13Author Spotlight: An Efficient and Robust Software for Automated Fusion of Multiple Preclinical Imaging Modalities
Published on: October 27, 2023
1.6K
08:39Longitudinal Micro-Computed Tomography Image Analysis for User-Defined Region of Interest in Critical-Sized Bone Defects
Published on: June 24, 2025
559
