萨尔Adapter:优先关注语义意识的代表性令牌,用于增强医疗图像细分

科学领域:

• 医学图像分析 医学图像分析
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 变压器网络在医疗图像细分方面表现有前途,但其计算成本较高.
• 现有的加速方法有局限性,阻碍了最佳的质量-复杂性权衡.

研究的目的:

• 为医疗成像开发一种高效的基于变压器的细分方法.
• 为了提高准确性,模型大小和计算效率之间的平衡.

主要方法:

• 提出了语义意识适配器 (SarAdapter),将基于语义的路由与神经运算符 (ViT和CNN) 集成在一起.
• 实施了一项战略,将类似的代币合并到低分辨率区域,并在高分辨率区域保留不同的代币.
• 引入了一个混合适配器单元,用于在不同尺度上适应性选择卷积运算符.

主要成果:

• 在四个医疗数据集和三种模式中实现了准确性,模型大小和效率之间的卓越平衡.
• 在Synapse数据集上展示了最先进的细分质量.
• 减少了65.6%的代币数量,显著提高了视觉变压器 (ViTs) 进行细分的效率.

结论:

• 该SarAdapter有效地解决了基于变压器的医疗图像细分中的质量-复杂性权衡问题.
• 这种方法为ViT在细分任务中的效率大大提高,使其在资源有限的环境中更适用.