MASG-SAM:通过多尺度的注意力和语义指导来增强少数镜头医疗图像细分

科学领域:

• 计算机视觉 计算机视觉
• 医学成像分析 医学成像分析
• 人工智能的人工智能

背景情况:

• 像SAM这样的基础模型显示了广泛的泛化,但与医学成像的数据稀缺性和域特异性作斗争.
• 适应SAM用于医疗用途通常需要大量的微调和专家驱动的提示,限制其用于罕见结构的应用.

研究的目的:

• 引入MASG-SAM,这是一个有效的框架,用于为数次拍摄的医疗图像细分.
• 提高基础模型在复杂的医学成像任务中的适应性和准确性.

主要方法:

• MASG-SAM 结合了层次注意力增强 (HAE) 以获得更好的特征表示.
• 边界特征增强 (BFE) 提高了具有挑战性的解剖结构的界限.
• 动态语义融合 (DSF) 整合了使用CLIP用于数据稀缺场景的医学知识.

主要成果:

• 在四个医疗数据集上,MASG-SAM在最先进的方法上表现出优越的性能.
• 该框架使用最小的标记数据实现了高细分精度.
• 观察到复杂的医学成像的适应性和准确性的显著改善.

结论:

• MASG-SAM提供了一种有效的解决方案,用于为数次拍摄的医疗图像细分.
• 拟议的框架提高了在专业领域的基础模型性能.
• 在医学成像中,MASG-SAM显示出对推进自动化分析的前景.