可学习的促使SAM诱导的知识蒸用于半监督的医疗图像细分

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 有限的标记数据阻碍了医疗图像细分的准确性.
• 一般的细分模型,如细分任何模型 (SAM) 显示承诺,但在医疗应用中退化.
• 半监督学习对于克服医疗图像细分中的数据短缺至关重要.

研究的目的:

• 开发一个有效的半监督医疗图像细分框架,使用SAM的知识蒸.
• 提高一般细分模型在专门的医学成像任务上的性能.
• 在将大规模模型应用于医疗数据时,应对性能下降的挑战.

主要方法:

• 提出了一个可学习的提示SAM诱导的知识蒸框架 (KnowSAM).
• 实施了多视角联合培训 (MC) 战略,有两个不同的子网络.
• 引入了一个可学习的快速策略 (LPS),其中有一个适配器用于SAM微调和SAM诱导的知识蒸 (SKD).

主要成果:

• 与最先进的半监督细分方法相比,KnowSAM在各种医疗任务中表现出更高的性能.
• 拟议的SAM蒸框架有效地将知识从SAM转移到子网络,减轻伪标签错误.
• 模块间信息交换是通过由子网络预测生成的SAM口罩提示来促进的.

结论:

• KnowSAM为半监督医疗图像细分提供了强大而有效的解决方案.
• SAM蒸框架可以集成到现有的半监督方法中,以提高性能.
• 该研究强调了利用大规模通用模型用于专门的医学成像任务的潜力.