通用视觉基金会医疗成像模型:细分任何东西的案例研究 零射击医疗细分模型上的模型
Peilun Shi1, Jianing Qiu1,2, Sai Mu Dalike Abaxi1
1Department of Biomedical Engineering, The Chinese University of Hong Kong, Shatin, Hong Kong SAR, China.
Diagnostics (Basel, Switzerland)
|June 10, 2023
概括
细分任何模型 (SAM) 显示了有限的零射击医疗图像细分能力. 用最小的数据微调SAM显著提高了其用于精确诊断的性能.
科学领域:
- 人工智能的人工智能
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
背景情况:
- 医学图像分析对于临床诊断至关重要.
- 对于各种任务,普遍的视觉基础模型正在出现.
- 细分任何模型 (SAM) 是图像细分的最新进展.
研究的目的:
- 在各种医学成像基准上评估SAM的零射击细分性能.
- 评估SAM在不同成像模式和临床应用中的有效性.
- 为了研究微调SAM对医疗图像细分的影响.
主要方法:
- 对SAM的零射击细分的定量和定性评估.
- 在九个代表性的医学图像细分基准 (OCT,MRI,CT) 上进行测试.
- 在有限的医疗数据上对零射击性能与微调的SAM进行比较.
主要成果:
- 在一般图像上,SAM表现出强的表现,但在未发行的医疗图像上却遇到了困难.
- 零射击细分一致性在不同的医疗领域和结构 (例如,血管) 中有所不同.
- 用小数据集微调SAM显著提高了细分精度.
结论:
- 像SAM这样的通用视觉基础模型在医学成像中具有潜力,但需要适应.
- 微调是一种可行的方法,可以提高SAM的精确医疗图像细分能力.
- 适应的基础模型可以帮助克服临床诊断的大型,多样化的医疗数据集的挑战.
