ST-GAN:一个基于Swin变压器的生成对抗网络,用于无监督域调整跨模式心脏细分的无监督域

科学领域:

• 医疗图像分析 医学图像分析
• 计算机视觉 计算机视觉 计算机视觉
• 机器学习是机器学习.

背景情况:

• 无监督域调整 (UDA) 对于跨模式的医疗图像细分至关重要,因为没有目标域标签.
• 使用卷积神经网络 (CNN) 的传统UDA方法与域移动扎,因为CNN专注于本地纹理,缺乏全球语义理解.

研究的目的:

• 提出一个基于Swin变压器的新型端到端生成对抗网络 (ST-GAN) 以实现强大的跨模式心脏细分.
• 解决基于CNN的UDA方法在捕捉医疗图像细分的全球语义相关性的局限性.

主要方法:

• 开发了一个ST-GAN,将Swin变压器用于全球特征提取和CNN用于本地空间信息.
• 实现了多级特征融合器,以增强特征融合和网络稳定性.
• 通过使用MS-CMR 2019和M&Ms数据集对两个跨模式心脏细分任务进行了评估.

主要成果:

• 与现有的最先进的方法相比,拟议的ST-GAN在跨模式心脏细分方面表现优越.
• 斯温变压器的集成有效地捕获了域不变特征,克服了CNN的局限性.
• 多尺度特征融合器有助于提高细分的稳定性.

结论:

• 在跨模式医疗图像细分中,ST-GAN为无监督域适应提供了一个有前途的解决方案.
• 结合CNN和Swin Transformers的混合方法增强了当地和全球特征的提取.
• 该方法显示了临床应用的巨大潜力,需要在不同的成像模式中进行细分.