在SAM中利用多文本关节提示,实现强大的医疗图像细分

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 计算机视觉 计算机视觉

背景情况:

• 细分任何模型 (SAM) 显示了医疗图像细分的前景.
• 文本提示为医学中的SAM提供了比几何提示更有效的替代方案.
• 医学中文字提示SAM的现有方法尚未得到充分的探索.

研究的目的:

• 提出一种基于SAM的新框架,利用视觉语言模型进行文本提示的医疗图像细分.
• 解决临床文本描述中语义模两可和信息冗余的挑战.
• 通过优化的文本提示来提高SAM在医疗应用中的性能和可用性.

主要方法:

• 集成了一个预先训练的视觉语言模型 (例如,CLIP) 来生成SAM的引用提示.
• 开发了一种文本分解-重组策略,以解析和重组临床叙述,使其成为有效的语义单元.
• 采用交叉注意模块以根据优化的文本描述来完善功能重点.

主要成果:

• 拟议的基于SAM的框架与具有几何提示的本地SAM相比,表现得更好.
• 文本分解-重组策略有效地处理了复杂的医学文本描述.
• 在多个数据集上的实验验验证了该方法的增强可用性和准确性.

结论:

• 开发的框架提供了一种可行和有效的方法,用于使用SAM的文本提示医疗图像细分.
• 通过分解和重新组合优化文本提示对于在临床环境中利用视觉语言模型与SAM至关重要.
• 这种方法在医学图像分析基础模型的应用中取得了重大进展.