MCBTNet:多功能融合CNN和双层路由注意力基于变压器的医疗图像分割网络

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 准确的医学图像细分对于临床病理学和外科导航至关重要.
• 卷积神经网络 (CNN) 捕捉了局部特征,但错过了全球背景.
• 变压器在全球范围内表现出色,但在局部/多尺度特征和高计算成本方面存在困难.

研究的目的:

• 通过结合CNN和变压器来开发一个高效和精确的医疗图像细分框架.
• 介绍多功能融合CNN和双层路由注意力变压器 (MCBTNet) 框架.
• 提高细分精度和速度,同时降低计算资源需求.

主要方法:

• 拟议的MCBTNet框架具有U形编码解码器架构,集成CNN和变压器.
• 采用双级路由注意力转换器,通过动态稀疏性来有效地捕获全球上下文.
• 在跳过连接上实施了一种新的频率-通道-空间多维注意力机制,用于多规模的特征利用.

主要成果:

• 与最先进的方法相比,MCBTNet在五个公共数据集上表现出卓越的表现.
• 实现了医疗图像细分的改进的Dice和HD指标.
• 与现有方法相比,其计算和内存要求较低.

结论:

• MCBTNet有效地整合了CNN和变压器,以实现高效和准确的医疗图像细分.
• 拟议的框架为临床病理学和外科导航提供了一个有希望的解决方案.
• 在减少资源使用的情况下,MCBTNet在捕获本地细节和全球背景之间实现了平衡.