对于医疗图像分割的类意识对抗式变压器

科学领域:

• 计算机视觉 计算机视觉
• 医学图像分析 医学图像分析
• 人工智能的人工智能

背景情况:

• 变压器在医疗图像分析中表现有前途,用于远程依赖模型.
• 目前的变压器模型在特征捕获,多尺度表示和细分精度方面存在局限性.

研究的目的:

• 介绍CASTformer,一个设计用于克服2D医疗图像细分局限性的对抗式变压器模型.
• 为了提高基于变压器的医疗图像细分的准确性和特征表示能力.

主要方法:

• 利用金字塔结构进行多尺度特征表示和变化处理.
• 开发了一个类意识的变压器模块,以学习具有语义结构的歧视性对象区域.
• 采用对抗式训练策略,使用基于变压器的区分器来增强特征捕获.

主要成果:

• 在三个基准上,CASTformer在基于最先进的变压器的方法上取得了显著的改进.
• 与之前的模型相比,证明了绝对子得分的改善,从2.54%到5.88%不等.
• 定性实验突出了模型透明度和转移学习对减少数据集大小的好处.

结论:

• 与现有的变压器模型相比,CASTformer提供了一种优越的2D医疗图像细分方法.
• 该模型的多尺度和类意识设计有效地解决了特征表示和准确性的局限性.
• CASTformer显示了作为各种下游医疗图像分析任务的基础模型的潜力.