CFATransUnet:用于二维医疗图像细分的通道智能交叉融合注意力和变压器
Cheng Wang1, Le Wang2, Nuoqi Wang1
1Department of Optical Science and Engineering, Fudan University, Shanghai 200433, China.
Computers in biology and medicine
|December 8, 2023
概括
CFATransUnet是一个用于医疗图像细分的新型网络,有效地使用变压器和CNN块将本地和远程语义信息融合在一起. 这种方法克服了语义差距,并在多个数据集上取得了最先进的结果.
科学领域:
- 医学图像分析 医学图像分析
- 深度学习架构 深度学习架构
- 计算机视觉 计算机视觉
背景情况:
- 医疗图像细分难以整合本地和远程语义细节.
- 现有的方法在编码和解码期间弥合语义差距时面临挑战.
研究的目的:
- 推出CFATransUnet,一个U形网络,旨在增强医疗图像细分.
- 解决提取和融合多层次语义信息的局限性,并减少语义差距.
主要方法:
- 采用集成变压器和卷积神经网络 (CNN) 块的骨干网络进行特征提取.
- 引入了通道智能交叉融合注意力和变压器 (CCFAT) 模块,包括通道智能交叉融合变压器 (CCFT) 和通道智能交叉融合注意力 (CCFA).
- CCFT使用自我注意力来进行跨层次的特征重整合,而CCFA则以适应方式加重特征道以减少语义差距.
主要成果:
- 在医疗图像细分任务中,CFATransUnet表现出卓越的性能.
- 拟议的架构有效地融合了不同语义层面的特征.
- 在四个数据集上的实验验证证证了最先进的结果.
结论:
- 通过有效处理语义信息融合,CFATransUnet为医疗图像细分提供了强大的解决方案.
- 整合变压器和CNN,加上CCFAT模块,显著提高了细分精度.
- 一致的编码器-解码器架构有助于减少语义差距并提高整体性能.
