CMAF-Net:基于跨模态注意力融合的深度神经网络,用于不完整的多模态脑瘤细分
Kangkang Sun1,2,3,4, Jiangyi Ding2,3,4, Qixuan Li2,3,4
1School of Computer Science and Artificial Intelligence, Changzhou University, Changzhou, China.
Quantitative imaging in medicine and surgery
|July 18, 2024
概括
这项研究介绍了CMAF-Net,CMAF-Net是一种深度学习模型,用于使用不完整的多模式MRI数据进行脑瘤细分. 该网络有效地处理缺失的模式,提高诊断准确度.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 神经科学是一个神经科学.
背景情况:
- 多模式磁共振成像 (MRI) 为脑瘤细分提供了补充信息.
- 在临床实践中缺少MRI模式可以显著降低细分性能.
- 准确的细分对于脑瘤诊断和治疗计划至关重要.
研究的目的:
- 开发一种新的深度学习网络,以使用不完整的多式共振磁共振数据进行强大的脑瘤细分.
- 为了解决由于缺少成像序列造成的性能下降.
主要方法:
- 提出了一个基于3D U-Net的架构,命名为CMAF-Net.
- 集成的3D Swin块用于远程依赖模型.
- 引入了交叉模式注意力融合 (CMAF) 块,通过融合特征来处理缺失的模式.
- 集成的频道注意模块 (CAM) 和空间注意模块 (SAM) 为增强的稳定性.
主要成果:
- 在BraTS 2018和BraTS 2020数据集上,CMAF-Net已经证明了它的有效性.
- 获得高平均子得分 (例如,在BraTS 2020上全瘤的87.9%).
- 在缺乏模式的场景中,超越现有方法的性能.
结论:
- 即使缺少MRI方式,CMAF-Net也可以实现精确的脑瘤细分.
- 该模型显示了在神经瘤学中临床应用的巨大潜力.
- 拟议的融合战略有效地利用现有数据来改善细分.
