检索增强的少数镜头医学图像细分与基础模型

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 医学图像细分对于临床决策至关重要,但受到有限的注释数据的阻碍.
• 短拍细分 (FSS) 和像SAM这样的基础模型在域泛化和微调要求方面面临挑战.

研究的目的:

• 开发一种新的检索增强框架,用于少数镜头医疗图像细分.
• 适应DINOv2和SAM 2以提高细分性能,而无需对特定领域进行重新培训.

主要方法:

• 利用DINOv2功能作为查询来检索类似的注释样本,将它们存储为记忆.
• 采用SAM 2的记忆注意力机制,使用检索的记忆来条件分段生成.

主要成果:

• 在三个不同的医疗图像细分任务中实现了卓越的性能和通用性.
• 证明有效的细分,无需对目标领域进行再培训或微调.

结论:

• 拟议的方法为少数镜头医疗图像细分提供了实用和有效的解决方案.
• 这种方法显示出作为临床环境中医学图像注释的有价值工具的巨大潜力.