混合形状专家 (MoSE):端到端的形状字典框架,以促使SAM进行可泛化的医疗细分
Jia Wei1,2, Xiaoqi Zhao1,2, Jonghye Woo3
1Dept. of Radiology and Biomedical Imaging, Yale University, New Haven, USA.
Conference on Computer Vision and Pattern Recognition Workshops. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Workshops
|October 10, 2025
概括
这项研究引入了一种新的混合形状专家 (MoSE) 框架,用于医疗图像细分. 通过使用各种专家,MoSE有效地捕捉了形状先验,并与SAM等基础模型集成,以提高概括性.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 单域概括 (SDG) 对于跨多种数据的医疗图像细分至关重要.
- 现有的词典学习方法在表达力和与SAM等基础模型的兼容性方面扎.
- 强大的形状先验对于改善医学图像细分中的概括至关重要.
研究的目的:
- 提出一个新的混合形状专家 (MoSE) 框架,以便在SDG中有效和稳健地进行形状预编码.
- 将MoSE与细分任何模型 (SAM) 集成,以增强概括能力.
- 为医疗图像细分开发一个端到端可训练的框架.
主要方法:
- 开发了一个混合型专家 (MoSE) 框架,将混合型专家 (MoE) 培训与字典学习相结合.
- 概念化词典原子作为"形状专家"用于编码不同的语义形状信息.
- 利用一个带有SAM引导稀疏激活的门网来融合形状专家并防止过拟合,为SAM提供形状地图作为提示.
主要成果:
- 莫斯科经济学框架证明了有效地捕捉了多样化和强大的形状先验.
- 与SAM的双向集成利用了其泛化能力.
- 在多个公共数据集上进行了广泛的实验,证实了该方法的有效性.
结论:
- 拟议的MoSE框架为利用医学图像细分中的语义形状先验提供了一个高效和强大的解决方案.
- 通过与SAM等基础模型进行集成,MoSE增强了概括性.
- 端到端可训练框架显示了改善医疗图像细分任务的重大前景.
