乳腺超声波瘤分类使用混合多任务CNN-变压器网络网络
Bryar Shareef1, Min Xian1, Aleksandar Vakanski1
1Department of Computer Science, University of Idaho, Idaho Falls, Idaho 83402, USA.
Medical image computing and computer-assisted intervention : MICCAI ... International Conference on Medical Image Computing and Computer-Assisted Intervention
|April 11, 2024
概括
一个新的深度学习模型,Hybrid-MT-ESTAN,通过结合CNN和Swin变压器来改善乳房超声波 (BUS) 瘤分类和细分. 这种混合方法在分类公共汽车图像方面实现了卓越的准确性和灵敏性.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 卷积神经网络 (CNN) 在乳房超声波 (BUS) 中擅长局部特征提取,但与全球背景作斗争.
- 视觉转换器捕获全球信息,但可以通过tokenization改变本地图像细节.
- 准确的BUS瘤分类对于诊断和治疗计划至关重要.
研究的目的:
- 开发和评估一个混合深度神经网络,Hybrid-MT-ESTAN,用于多任务BUS瘤分类和细分.
- 解决纯CNN和视觉转换器在捕捉本地和全球图像特征方面的局限性.
- 为了提高BUS图像分析中的诊断性能.
主要方法:
- 提出了一个混合多任务深度神经网络 (Hybrid-MT-ESTAN),集成CNN和Swin变压器组件.
- 采用混合架构,以利用CNN在本地模式和Swin Transformers在全球环境中的优势.
- 通过使用七个定量指标,对3320张BUS图像的数据集进行模型评估.
主要成果:
- 与其他九种BUS分类方法相比,混合MT-ESTAN实现了最高的准确度 (82.7%),灵敏度 (86.4%) 和F1得分 (86.0%).
- 在BUS瘤分类中表现出卓越的性能,优于现有的方法.
- 混合架构有效地平衡了本地和全球上下文信息的建模.
结论:
- 拟议的混合MT-ESTAN模型在乳房超声波图像分析方面取得了重大进展.
- 结合CNN和Swin变压器的混合架构对BUS瘤分类和细分有效.
- 这种方法有望提高乳腺癌检测的诊断准确性.
