通过双视觉提示调整调整来调节医疗图像细分的大型视觉模型.
Ruize Cui1, Lanqing Liu1, Jing Zou1
1Centre for Smart Health, School of Nursing, The Hong Kong Polytechnic University, Hong Kong Special Administrative Region of China.
概括
双视觉提示调整 (DVPT) 通过增强分段任何模型 (SAM) 来改善医疗图像细分. 这种新的方法使用自动本地和全球提示,在计算机辅助诊断中获得更高的准确性.
科学领域:
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 细分任何模型 (SAM) 在自然图像细分方面显示出希望,但由于独特的目标特征,噪音和有限的微调数据,它在医疗成像方面扎.
- 在SAM中手动提示对于医疗应用来说是低效的,需要艰苦的调整.
研究的目的:
- 引入双视觉提示调整 (DVPT),这是一个自动化策略,用于提高SAM在医疗图像细分方面的性能.
- 解决SAM在医学成像中的局限性,包括噪音,文物和有效提示的需要.
主要方法:
- DVPT采用完全自动的提示范式,有两个关键组件:用于详细解剖结构的本地特征提示调整 (LFPT) 模块和用于降低噪音和界限澄清的全球指导提示 (GGP) 编码器.
- 当地和全球提示都集成到SAM的面具解码器中.
主要成果:
- 在三种不同的医疗图像分割任务中,DVPT表现出卓越的细分精度.
- 该方法在实验评估中始终超过现有的最先进的方法.
结论:
- DVPT显著提高了SAM在医疗图像细分方面的能力,提供了更准确,更有效的解决方案.
- 这一进步有助于改进计算机辅助诊断,并促进医疗保健技术的进步.
