EviVLM:当证据学习与医学图像分割视觉语言模型相遇时
IEEE transactions on medical imaging
|October 16, 2025
概括
本研究介绍了以证据为导向的视觉语言模型 (EviVLM),以弥合医疗图像细分中的模式差距. 通过使用证据学习,EviVLM增强了多模式融合,以提高细分性能.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 图像和文本表示之间的模式差距阻碍了视觉语言模型 (VLM) 在医疗图像细分中的性能.
- 这种差距使多模式融合变得复杂,限制了细分精度.
研究的目的:
- 提出一种新的范式,即基于证据的视觉语言模型 (EviVLM),以系统地测量和减轻模式差距.
- 加强多模式融合,以改善医疗图像细分.
主要方法:
- 在VLM中整合基于证据的学习 (EL).
- 开发一个证据亲和图谱生成器 (EAMG),用于跨模式的证据收集和改进.
- 使用偏差差异分解实现证据差异相似性学习 (EDSL),以获得一致的跨模式证据.
- 主观逻辑和斯特-沙弗理论的应用用于证据映射,意见聚合和模式差距量化.
主要成果:
- 拟议的EviVLM在三个公共医疗图像细分数据集上实现了最先进的性能.
- 证明了对模式差距的系统测量和缓解.
- 有效的多模式集成得到了促进,从而提高了细分.
结论:
- EviVLM提供了一种新且有效的方法来解决医疗图像细分中的模式差距.
- 基于证据的学习的整合显著改善了多模式融合和细分性能.
- 提出的方法为量化和弥合VLM的模式差距提供了一个强大的框架.
