概括
这项研究通过完善样本分类引入了一种新的医疗视觉语言预训练方法. 这种方法增强了代表性学习,并提高了各种下游医疗AI任务的性能.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 自然语言处理自然语言处理.
背景情况:
- 医学视觉语言预训练 (VLP) 使用对照图像报告数据对照损失.
- 当前的方法将所有未配对的数据视为负样本,这可能会损害由于医疗数据的内在相似性而导致的表示学习.
研究的目的:
- 为医学VLP开发一个更有效的对比学习策略.
- 解决将所有未配对的医疗数据视为负样本的限制.
主要方法:
- 一种新的方法通过专注于报告间相似性来简化相似性计算.
- 图像报告组分为正,负和中性组,用于精细的对比损失构造.
- 模型不可知论策略应用于两个最先进的预培训框架.
主要成果:
- 在四个下游任务中观察到一致的改进:交叉模式检索,零拍摄图像分类,数据有效的图像分类和图像细分.
- 当与现有的VLP框架集成时,拟议的战略已经证明了其有效性.
结论:
- 精细的样本分类显著提高了医学视觉语言领域的对比学习.
- 这种方法为医疗VLP提供了更强大和更有效的方法,从而在关键的临床应用中提高了性能.
