使用多视图深度学习技术进行乳房图分类:研究基于图形和变压器的架构.
Francesco Manigrasso1, Rosario Milazzo1, Alessandro Sebastian Russo1
1Politecnico di Torino, Dipartimento di Automatica e Informatica, Corso Duca degli Abruzzi 24, 10129, Turin, Italy.
Medical image analysis
|September 8, 2024
概括
深度学习模型对查乳房图片显示出希望,但挑战仍然存在. 基于变压器的架构表现最好,但各种模型的合奏提供了最强大的乳腺癌分类.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 放射学 放射学是一门学科.
背景情况:
- 深度学习 (DL) 提供了自动查乳房影像评估的潜力.
- 挑战包括低癌症患病率,高分辨率图像和多视图数据集成.
- 考试级别标签上的弱监督学习受到数据集大小和准确性的限制.
研究的目的:
- 评估基于变压器和基于图形的新型架构,用于多视图乳房影像.
- 将它们与最先进的卷积神经网络 (CNN) 进行比较.
- 在弱监督的环境中评估性能和可解释性.
主要方法:
- 对变压器 (ViT) 和基于图形的架构进行了广泛的评估.
- 与CSAW数据集上的多视图CNN进行比较.
- 在中等规模数据集上使用考试级别标签的低监督培训.
主要成果:
- 基于变压器的架构展示了卓越的性能.
- 不同的架构表现出互补的优缺点.
- 组合多种不同的架构可以比单个模型获得更准确和更强大的结果.
结论:
- 多视图架构显示了乳腺癌分类的巨大潜力,即使使用了适度的数据集.
- 基于变压器和图形的模型在整合乳腺扫描视图方面具有优势.
- 在没有像素级监督或专业网络的情况下,检测小病变仍然具有挑战性.


