改善医学视觉表示学习与病理水平的交叉模式对齐和相关性探索

科学领域:

• 医学成像分析分析 医学成像分析
• 自然语言处理自然语言处理.
• 机器学习 机器学习

背景情况:

• 从医学图像报告对进行联合学习对于将知识转移到下游任务至关重要.
• 之前的方法通常专注于实例或令牌级别的对齐,忽视了病理级别的一致性.
• 开发强大的医学视觉表示学习方法是一个活跃的研究领域.

研究的目的:

• 提出一个新的框架,PLACE,用于医学图像报告学习中的病理水平对齐和细粒度细节丰富.
• 改善病理学观察在医学图像和相应报告之间的一致性.
• 增强医疗视觉表示学习的通用性和稳定性,而不需要外部注释.

主要方法:

• 提出了一种病理水平的交叉模式对齐 (PCMA) 方法,以最大限度地提高视觉和文本病理观察之间的一致性.
• 引入了一个视觉病理观察提取器,可以从本地化图像令牌中提取表示.
• 开发了一个代理任务,用于在图像补丁之间进行相关性探索,以丰富细粒度的细节.

主要成果:

• 在多个下游任务中,PLACE框架实现了最先进的性能.
• 在分类,图像到文本检索,语义细分,对象检测和报告生成方面取得了显著的改进.
• PCMA模块显示出有效性和稳定性,独立于外部疾病注释.

结论:

• 拟议的PLACE框架通过专注于病理水平的一致性,有效地提高了医学视觉表示学习.
• 相关性探索丰富了细粒度的细节,从而在各种医疗应用中提供了卓越的性能.
• 这种方法提供了一种强大而可通用的方法,可以从医学图像报告对进行联合学习.