通过互匹配关系建模增强医学视觉语言对比学习

科学领域:

• 人工智能的人工智能
• 医学成像分析 医学成像分析
• 计算机视觉 计算机视觉

背景情况:

• 医学视觉语言对比学习 (mVLCL) 利用医学成像报告进行监督.
• 当前的mVLCL方法将图像子区域与报告关键字对齐,但忽略了相互匹配的关系.
• 现有的方法通过简单的聚合来汇总本地匹配,未能考虑语义和重要性关系.

研究的目的:

• 提出一种新的mVLCL方法,以模拟相互匹配的关系,以改善医学图像表示学习.
• 引入一种关系增强的对比学习框架 (RECLF),包括语义和重要性关系推理.
• 加强对医疗视觉任务的细粒度报告监督.

主要方法:

• 开发了一个关系增强的对比学习框架 (RECLF).
• 引入了一个语义关系推理模块 (SRM) 来模拟语义相关的局部匹配之间的关系.
• 包含一个重要性关系推理模块 (IRM) 来区分临床重要匹配.

主要成果:

• 在四个下游任务 (细分,零射击分类,线性分类,跨模式检索) 中对六个公共基准数据集进行了RECLF评估.
• 证明了RECLF在最先进的mVLCL方法上的优势.
• 在单模和跨模任务中实现了持续的改进.

结论:

• RECLF有效地模拟了相互匹配的关系,从而改善了医疗图像表示.
• 拟议的方法增强了下游医疗视觉任务的概括能力.
• RECLF提供了一种更有效的医疗视觉语言对比学习方法.