通过微调预先训练的图像文本编码器显著改善零射击X射线病理学分类

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 计算机视觉 计算机视觉

背景情况:

• 深度神经网络 (DNN) 对于医学图像分析至关重要,但训练数据稀缺性构成了重大挑战.
• 预先训练有素的对比图像-文本模型 (例如,CLIP) 适用于医疗任务,通过利用胸部X射线图像和报告来实现零射击病理学分类.
• 现有的方法往往忽视了医疗数据的多标签性质,使用标准的对比学习目标.

研究的目的:

• 提出一种新的微调策略,以提高医学成像中零射击病理学分类性能.
• 通过计算多标签的医学图像-报告对来解决当前对比学习方法的局限性.
• 提高模型对域外数据集的概括性,而不需要额外的培训或外部知识.

主要方法:

• 开发了一种新的微调策略,包括正对损失放松和随机句子抽样.
• 应用了拟议的方法来微调预先训练的对比图像-文本编码器,使用胸部X射线数据集和报告.
• 在四个不同的胸部X射线数据集和三个不同的预训练模型中评估了这种方法.

主要成果:

• 在所有测试的数据集和模型中,在所有零射击病理学分类中取得了持续的改进.
• 在接收器运行特征曲线 (AUROC) 下显示的平均宏观面积增加了4.3%.
• 超越现有的最先进的方法,并在特定CheXpert病理的零射击分类中略有超过董事会认证的放射科医生.

结论:

• 拟议的微调策略有效地提高了医学成像中的零射击病理学分类,特别是在多标签数据中.
• 该方法提供了一个强大的和可通用的解决方案,适用于各种预训练模型和数据集,而不依赖外部数据.
• 这种方法代表了重大进步,显示了有助于放射性诊断和提高效率的潜力.