互动融合全球和本地特征,用于乳房超声图像的良性和恶性分类
Wenhan Wang1, Jiale Zhou1, Jin Zhao2
1School of Instrumentation and Optoelectronics Engineering, Beihang University, Beijing, China.
Ultrasound in medicine & biology
|December 21, 2024
概括
这项研究介绍了CTMF-Net,这是一种用于乳房超声波图像分类的新型深度学习模型. CTMF-Net有效地结合了卷积神经网络 (CNNs) 和视觉转换器 (ViTs),以提高瘤分类的准确性.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 乳腺超声波 (BUS) 对于分类乳腺瘤至关重要.
- 目前的深度学习模型,如CNN和ViT在捕捉全球和本地特征方面都有局限性.
- 自动化的BUS分类可以减少诊断主观性.
研究的目的:
- 开发一种先进的深度学习方法,用于高精度的BUS图像分类.
- 为了使CNN和ViT模型之间能够有效地进行功能交互和更新.
- 在 BUS 分析中克服个别 CNN 和 ViT 架构的局限性.
主要方法:
- 介绍了CNN和变压器多阶段融合网络 (CTMF-Net).
- CTMF-Net采用双分支架构:一个CNN分支 (视觉几何组骨干) 和一个ViT分支.
- 功能交互模块在每个阶段促进了分支之间的融合,注意力机制增强了CNN功能.
主要成果:
- 在公共数据集上,CTMF-Net取得了卓越的表现:SYSU的准确率为90.14%,UDIAT的准确率为92.04%.
- 对BUSI数据集的外部验证显示,CTMF-Net达到0.8704.4的最高AUC得分.
- 该模型在内部和外部验证方面显示出与最先进的网络相比的显著改进.
结论:
- 使用超声波图像进行乳腺瘤分类的CTMF-Net的性能优于现有的方法.
- 拟议的模型可以帮助临床医生实现更准确的乳腺瘤分类.
- 这种融合方法有效地利用了CNN和ViT的优势,提高了诊断准确度.
