使用基础模型进行自动化的一次性医疗图像细分的 ProtoSAM.
Lev Ayzenberg1, Raja Giryes2, Hayit Greenspan2,3
1Department of Engineering, Tel Aviv University, Tel Aviv, Israel. leva1@mail.tau.ac.il.
Scientific reports
|November 24, 2025
概括
ProtoSAM使用原型网络和分段任何模型 (SAM) 推进了一次性医疗图像细分. 这一框架通过有效地适应新的数据站点,即使不需要事先培训,也可以实现最先进的结果.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 一次性医疗图像细分对于具有有限标记数据的场景至关重要.
- 快速适应新的数据类别和地点是医学图像分析的一个重大挑战.
研究的目的:
- 引入ProtoSAM,一个全新的,用于一次性医疗图像细分的自动化框架.
- 利用原型网络和细分任何模型 (SAM) 进行高效的细分适应.
- 在各种医学成像数据集上展示最先进的性能.
主要方法:
- ProtoSAM将原型网络 (ALPnet与DINOv2编码器) 结合起来,用于初始的面具生成.
- 从初始面具中提取的提示 (点,边界框) 被输入到分段任何模型 (SAM).
- 该框架在CT,MRI和内镜图像数据集上得到验证.
主要成果:
- 在各种医学成像细分任务中,ProtoSAM实现了最先进的结果.
- 一个未经训练的ProtoSAM与现有的一次性训练方法相匹配或超越.
- 编码器的自我监督微调进一步提高了ProtoSAM的性能.
结论:
- ProtoSAM 提供了一种强大而可适应的解决方案,用于一次性医疗图像细分.
- 该框架表明,对于具有稀缺标记数据的应用程序有很大的潜力.
- 该代码的可用性促进了该领域的进一步研究和开发.
