CSAP-UNet:用于医疗图像细分与边缘增强的卷积和自我注意平行网络

科学领域:

• 医学图像分析 医学图像分析
• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 卷积神经网络 (CNN) 擅长提取本地图像特征.
• 自我注意力 (SA) 机制擅长在图像中捕捉全球依赖.
• 整合CNN和SA机制为医疗成像中改进特征提取提供了互补的优势.

研究的目的:

• 提出一种有效的融合方法,将CNN和SA功能结合起来,用于医疗图像细分.
• 开发一个基于U-Net的网络,CSAP-UNet,利用CNN和Transformer的并行分支进行全面的特征提取.
• 加强对病变区域和边界细节的关注,这对于医学图像细分至关重要.

主要方法:

• 一个平行网络架构 (CSAP-UNet) 使用U-Net作为骨干.
• 一个编码器有两个平行分支:一个使用CNN用于本地特征,另一个使用变压器 (SA) 进行全球特征.
• 一个注意力融合模块 (AFM) 集成通道和空间注意力,以从两个分支的接特征.
• 在浅层中使用边界增强模块 (BEM) 来提高像素级边缘细节检测.

主要成果:

• 与最先进的网络相比,CSAP-UNet在三个公共数据集上表现优越,特别是ISIC 2017数据集.
• 对Kvasir和CVC-ClinicDB数据集的交叉数据集评估证实了CSAP-UNet的强大泛化能力.
• 废弃性研究验证了拟议的注意力融合模块和边界增强模块的重大贡献.

结论:

• 拟议的CSAP-UNet通过并行CNN和SA分支有效地结合了本地和全球特征提取,超过了医疗图像细分的现有方法.
• 整合AFM和BEM模块增强了网络准确细分病变和划定医疗图像边界的能力.
• CSAP-UNet在不同医学成像数据集中展示了强大的概括能力,突出了其临床应用的潜力.