TransUNet:通过变压器的镜头重新思考U-Net架构设计,通过变压器的镜头进行医疗图像细分
Jieneng Chen1, Jieru Mei1, Xianhang Li2
1Department of Computer Science, Johns Hopkins University, Baltimore, MD 21218, USA.
Medical image analysis
|August 3, 2024
概括
TransUNet将变压器自我注意力集成到U-Net中,用于医疗图像细分,改进远程依赖模型. 这种多功能框架提高了对器官和瘤的细分精度,优于现有方法.
科学领域:
- 医疗图像分析 医学图像分析
- 为医疗保健提供深度学习.
- 计算机视觉在医学中的应用
背景情况:
- 像U-Net这样的卷积神经网络 (CNN) 在医疗图像分割中与远程依赖性作斗争.
- 变压器对于序列对序列任务是有效的,为增强医疗图像分析提供了潜力.
- 需要对U-Net架构中的变压器自我注意集成有明确的理解.
研究的目的:
- 介绍一个多功能TransUNet框架,将变压器自我注意力集成到U-Net中,用于医疗图像细分.
- 探索U-Net骨干中的变压器模块的灵活配置 (仅为编码器,仅为解码器,编码器+解码器).
- 为各种医学成像应用提供2D和3D实现.
主要方法:
- 开发了一个变压器编码器,以令牌化CNN功能地图补丁用于全球背景.
- 整合了一个使用交叉注意力的变压器解码器,以精炼具有U-Net功能的候选区域.
- 实现了这些模块在U-Net中的灵活集成,创建了仅编码器,仅解码器和编码器+解码器的变体.
主要成果:
- TransUNet编码器有效地模拟了多个腹部器官之间的相互作用.
- TransUNet解码器在细分小目标,如瘤等方面表现出色.
- 与nn-UNet相比,实现了显著的Dice得分改进:多器官细分为1.06%,胰腺瘤细分为4.30%.
- 在BrasTS2021挑战中超越了顶级解决方案.
结论:
- 通过结合CNN和变压器,TransUNet为医疗图像细分提供了一个多功能和有效的框架.
- 编码器和解码器模块为分隔大器官和小病变提供了明显的优势.
- TransUNet在各种医疗细分任务中表现出卓越的性能,包括多器官,胰腺瘤和肝血管细分.
