MammoViT:一个定制的视觉变压器架构,用于精确的BIRADS分类在乳房图分析.
Abdullah G M Al Mansour1, Faisal Alshomrani2, Abdullah Alfahaid3
1Radiology and Medical Imaging Department, College of Applied Medical Sciences, Prince Sattam Bin Abdulaziz University, Alkharj 11942, Saudi Arabia.
Diagnostics (Basel, Switzerland)
|February 13, 2025
概括
一个新的深度学习模型,MammoViT,使用ResNet50和视觉转换器准确地分类乳房影像,通过克服数据不平衡的挑战来改善乳腺癌查.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 乳腺癌查的乳房摄影解释是至关重要的,但面临着诸如微妙特征和读者可变性等挑战.
- 现有的计算机辅助检测系统在复杂的特征提取和上下文理解方面扎.
- 乳房成像报告和数据系统 (BIRADS) 的分类是必不可少的,但难以准确地自动化.
研究的目的:
- 开发MammoViT,一个新的混合深度学习框架,将ResNet50和Vision Transformer结合起来,用于乳房影像分类.
- 解决传统方法在处理复杂特征和乳房图像中的远程依赖方面的局限性.
- 提高自动化乳腺癌查工具的准确性和可靠性.
主要方法:
- 使用ResNet50进行特征提取和Vision Transformer捕获空间依赖的多阶段方法.
- 应用合成少数人过量采样技术 (SMOTE) 来处理BIRADS数据集中的类不平衡.
- 通过Keras Tuner进行优化,并进行5倍的交叉验证,并尽早停止以进行强大的模型训练.
主要成果:
- 在不同BIRADS类别的乳房图分类中,MammoViT实现了97.4%的准确性.
- 该模型通过包括分类报告和混矩阵在内的全面评估指标证明了其有效性.
- 性能与现有研究进行了验证,显示出优越或可比的结果.
结论:
- MammoViT成功地集成了ResNet50和Vision Transformer架构用于医疗图像分析.
- 该框架有效地解决了医学成像数据集中常见的数据不平衡问题.
- MammoViT显示出作为一个可靠的工具来支持乳腺癌查临床决策的显著潜力.


