变压器使CNN更好地适用于基于脚的医疗图像细分

科学领域:

• 医学图像分析 医学图像分析
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 具有编码器-解码器架构的卷积神经网络 (CNN) 框架是涂监督细分的标准.
• 这些方法难以捕获全球形状信息,因为卷积层的局部受体场,限制了它们的有效性与稀疏的涂注释.

研究的目的:

• 介绍ScribFormer,一种新的CNN-Transformer混合模型,旨在改善涂监督的医疗图像细分.
• 解决现有方法的局限性,从有限的草稿数据中学习全球形状上下文.

主要方法:

• 开发了ScribFormer,这是一个三分支架构,集成CNN,变压器和注意力引导类激活地图 (ACAM) 分支.
• 融合了CNN的本地特色与变压器分支机构的全球代表.
• 利用ACAM分支来统一浅层和深层卷积特征以提高性能.

主要成果:

• 在公共和私人数据集上,ScribFormer与最先进的涂监督细分方法相比,表现出更高的性能.
• 提出的方法取得的结果与完全监督的细分技术相比或更好.
• 混合方法有效地克服了纯粹基于CNN的方法在捕捉全球背景方面的局限性.

结论:

• 通过有效地结合本地和全球功能学习,ScribFormer在涂监督的医疗图像细分方面取得了重大进展.
• 该模型利用有限注释的能力超过了当前最先进的甚至完全监督的方法,突出了其实际应用的潜力.
• 混合CNN-变压器架构为具有稀疏监督的具有挑战性的细分任务提供了强大的解决方案.