MedCLIP-SAMv2:朝着通用文本驱动的医疗图像细分的方向
Taha Koleilat1, Hojat Asgariandehkordi1, Hassan Rivaz1
1Department of Electrical and Computer Engineering, Concordia University, Montreal, Quebec, Canada.
Medical image analysis
|August 8, 2025
概括
这项研究介绍了MedCLIP-SAMv2,这是使用CLIP和Segment-Anything-Model (SAM) 等基础模型进行医学图像细分的新框架. 它可以通过更少的标签数据实现准确的细分,用于各种医学成像任务.
科学领域:
- 医学图像分析 医学图像分析
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 医疗图像的准确细分对于诊断和治疗至关重要.
- 当前的深度学习方法通常需要大量的标记数据,从而限制了效率和通用性.
- 基础模型为数据高效和交互式细分提供了潜力.
研究的目的:
- 开发一个新的框架,MedCLIP-SAMv2,用于数据效率高的医疗图像细分.
- 整合CLIP和分段-任何模型 (SAM) 进行文本提示分段.
- 在各种医学成像模式的零射击和弱监督环境中评估框架.
主要方法:
- 微调的生物医学CLIP与脱的硬负噪声对比估计 (DHN-NCE) 损失.
- 利用多模式信息瓶 (M2IB) 进行视觉提示生成.
- 在零射击和弱监督的设置中,使用文本提示以与SAM进行细分.
主要成果:
- MedCLIP-SAMv2在细分各种医学成像任务方面表现出高准确度.
- 该框架在零射击和弱监管细分方案中都表现出有效性.
- 对超声波,MRI,X射线和CT成像数据进行了验证.
结论:
- MedCLIP-SAMv2为医疗图像细分提供了一个强大且数据效率高的解决方案.
- 基础模型的整合在临床环境中推进了交互式和通用细分.
- 拟议的框架显示了改善疾病诊断和治疗规划的希望.
