UnetTransCNN:将变压器与卷积神经网络集成,以增强医疗图像细分

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 准确的3D医学图像细分对于临床应用至关重要.
• 卷积神经网络 (CNN) 在局部特征方面表现出色,但错过了全球背景.
• 变压器模型捕捉了长距离的依赖性,但混合一体化是不理想的.

研究的目的:

• 介绍UnetTransCNN,这是一个用于3D医疗图像细分的新型并行架构.
• 利用视觉转换器 (ViT) 和CNN的优势来改善细分.
• 提高医疗图像分析中当地细节和全球背景之间的平衡.

主要方法:

• 一个平行架构,结合了ViT编码器 (基于AFNO) 和CNN解码器.
• 整合多尺度跳过连接用于特征融合.
• 适应性全球-本地合单元用于增强集成.
• 在BTCV和MSD数据集上进行验证,用于多器官和瘤细分.

主要成果:

• UnetTransCNN实现了最先进的表现,平均子得分为85.3%.
• 在各种器官结构上超越了现有的CNN和基于变压器的模型.
• 显著改善了对胆囊和上腺等具有挑战性的区域的细分.
• 在各种超参数和成像模式中表现出强度.

结论:

• UnetTransCNN有效地平衡了本地精确度和全球背景,以实现卓越的细分.
• 平行设计和频率感知编码提高了通用性.
• 在复杂场景中为高精度医学图像分析提供了一个有前途的工具.