当地对比学习用于医疗图像识别

科学领域:

• 放射学 放射学是一门学科.
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 深度学习 (DL) 方法越来越多地用于放射图像分析.
• 专家标记的放射学数据有很高的需求.
• 自主监督框架使用放射学报告,但与微妙的病理学差异作斗争,缺乏区域文本解释性.

研究的目的:

• 引入地方区对比学习 (LRCLR),一个新的微调框架.
• 为了使DL模型能够识别重要的图像区域及其与文本的关系.
• 提高DL模型在医学图像分析中的可解释性和性能.

主要方法:

• 开发了LRCLR,一个灵活的微调框架.
• 集成层用于显著的图像区域选择.
• 集成的跨模式交互用于图像-文本相关性.

主要成果:

• 在胸部X射线中,LRCLR有效地识别了显著的局部区域.
• 该框架提供了图像区域和放射文本之间的有意义的解释.
• 在多个胸部X射线医学发现上,证明了零射击性能的提高.

结论:

• 在医疗图像分析方面,LRCLR提供了一种灵活和可解释的方法.
• 该方法通过将图像和文本数据相结合,提高了自我监督学习的实用性.
• 对于改善放射学诊断能力,LRCLR显示出有前途的迹象.