通过超声波进行多模式深度学习,以提高乳腺癌诊断能力
Ting-Ruen Wei1, Aileen Chang2, Young Kang2
1Santa Clara University, 500 El Camino Real, Santa Clara, 95053, CA, USA.
Computers in biology and medicine
|June 13, 2025
概括
这项研究介绍了一种新的AI模型,它结合了乳房超声波图像和放射学报告,以准确区分良性与恶性乳房质量,改善诊断性能.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 在瘤学瘤学.
背景情况:
- 准确区分良性和恶性乳腺质量对于有效的患者管理至关重要.
- 当前的诊断方法可能受到观察者之间的变化和侵入性手术的需要的限制.
研究的目的:
- 开发和评估一种新的多式联网深度学习模型,用于使用双视图超声波图像和放射学报告对乳腺质量进行分类.
- 将多式模式模型的性能与单式模式方法和已建立的基础模型进行比较.
主要方法:
- 设计了一个多式联网深度学习架构,使用专门的图像和文本编码器.
- 实现了转换层,以对齐从不同模式中提取的特征.
- 该模型是在双视图乳房超声波图像和相关放射学报告的数据集上进行训练和验证的.
主要成果:
- 多式联运模型实现了曲线下面积 (AUC) 的85%.
- 与单式模型相比,它表现出优越的性能,在Youden指数中分别提高了6%和8%.
- 该模型表现优于CLIP和MedCLIP等基础模型的零射击预测,并且显示出优于医生评估的优势.
结论:
- 综合成像和文本数据的多式深度学习显著提高了乳腺质量分类的诊断性能.
- 开发的AI模型显示了在乳腺成像中强大的,透明的AI辅助诊断解决方案的实际意义和潜力.
