Sam2Rad:医疗图像的细分模型,具有可学习提示

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 分段任何模型 (SAM) 和MedSAM对医疗图像细分有希望,但需要耗时的手动提示.
• 现有的SAM变体在超声波图像中由于域移动而与骨细分斗争,即使使用手动提示.
• 手动提示,无论是稀疏的 (盒子,点,文本) 或密集的 (面具),都不足以在超声波中准确地进行骨细分.

研究的目的:

• 介绍Sam2 for Radiology (Sam2Rad),这是一个用于超声波图像中自动骨段的新型框架.
• 为了消除在使用SAM及其变体的医疗图像细分任务中需要手动提示.
• 在肌肉骨超声波中改善SAM和SAM2在骨区域的细分性能.

主要方法:

• 开发了一个快速预测网络 (PPN),使用轻量级的交叉注意力机制来生成细分提示.
• PPN利用SAM的图像编码器功能和可学习嵌入式来预测边界框,面具和高维嵌入式.
• 结所有SAM模块,只训练PPN以保存SAM的知识并实现高效的参数利用;与任何SAM架构兼容.

主要成果:

• 在三组肌肉骨超声数据集 (部,手腕,肩膀) 中,Sam2Rad在Dice得分方面取得了显著的改善.
• 与基线SAM2.2.相比,在肩膀超声波细分的Dice得分中显示了高达51.3%的改善.
• 以最少的标记数据 (只需10张图像) 展示了有效的性能,并在零射击概括场景中表现出稳健性.

结论:

• Sam2Rad有效地解决了基于SAM的模型在超声波图像中的骨细分方面的局限性.
• 拟议的框架允许快速,准确和高效的医疗图像细分.
• Sam2Rad提供多功能应用模式 (完全自主,半自主,手动),并与SAM架构具有广泛的兼容性.