视线引导医疗图像分割:使用SAM基金会模型的无培训方法
概括
眼睛凝视数据提供了一种高效,无需培训的方法,用于使用基础模型进行医学图像细分. 这种方法与训练有素的模型相美,超越了手动界限框,提高了临床环境中的可访问性.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 医疗图像细分至关重要,但劳动密集型,需要自动化解决方案.
- 深度学习模型需要广泛的标记数据和培训,限制了可访问性.
- 像Segment Anything Model (SAM) 这样的基础模型提供零射击细分,但通常需要特定任务的适配器.
- 对于资源有限的临床中心来说,无培训方法至关重要.
研究的目的:
- 为了研究眼睛凝视数据作为一种隐含的,有效的提示,以免训练的SAM-based医疗图像细分.
- 评估以视线为基础的提示策略,作为手动界限框的低成本替代方案.
- 为了证明凝视驱动细分的临床相关性和可访问性.
主要方法:
- 利用眼神视线数据作为细分任何模型 (SAM) 的隐含提示.
- 评估了多种基于视线的提示策略,包括将边界框与视线衍生的热图结合起来.
- 验证了聚细分 (Kvasir-SEG) 和前列腺细分 (NCI-ISBI 2013) 的方法.
主要成果:
- 基于凝视的提示实现了令人满意的细分结果,与基于SAM的训练模型相提并论.
- 提出的基于视线的方法优于仅使用手动界限框的细分.
- 最有效的策略是结合边界框和凝视数据热图.
结论:
- 眼睛凝视数据为医学成像中的基础模型提供了一个自然,高效和低成本的提示机制.
- 这种无培训,注视驱动的方法增强了细分自动化,减少了注释时间,并实现了近乎实时的应用.
- 该方法提高了资源有限的临床环境的可访问性,促进了更快的部署和更广泛的适应性.
