nnFormer:通过3D变压器进行体积医疗图像分割

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 计算机视觉 计算机视觉

背景情况:

• 变压器在自然语言处理方面表现出色,但在医学成像方面未得到充分利用.
• 现有的变压器方法通常使用变压器作为辅助模块,限制其潜力.
• 3D医学图像细分需要能够捕捉复杂空间依赖性的模型.

研究的目的:

• 介绍nnFormer,一个用于体积医疗图像分割的3D变压器架构.
• 开发一个模型,有效地结合卷积和自我注意力机制,以增强特征学习.
• 改进现有的基于变压器的细分方法,并将性能与最新模型进行比较.

主要方法:

• nnFormer使用交叉卷积和自我注意操作.
• 结合了本地和全球基于体积的自我注意力,以实现强大的体积表示学习.
• 在类似于U-Net的架构中,员工跳过注意力,取代了传统的跳过连接操作.

主要成果:

• nnFormer在三个公共数据集上显著优于之前的基于变压器的细分方法.
• 在HD95.5方面,它实现了比 nnUNet,一个领先的卷积神经网络模型,更高的性能.
• 与nnUNet相比,显示出更高的计算效率.
• nnFormer和nnUNet在模型组合方面表现出互补的优势.

结论:

• nnFormer代表了使用变压器进行3D医疗图像细分的重大进展.
• 拟议的架构有效地捕获了上下文信息,并提高了细分精度.
• nnFormer为现有方法提供了一个计算效率高和高性能替代方案,具有组合策略的潜力.