研究水平的胸部X射线图像和报告的交叉模式检索与基于适配器的微调

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 临床信息学 临床信息学

背景情况:

• 目前的跨模式检索方法主要将单个胸部X射线图像与报告联系起来,未能捕捉到临床环境的复杂性.
• 由于成像设备,参数和报告风格的变化,不一致的数据分布阻碍了现有模型的可靠性和概括性.

研究的目的:

• 提出和评估研究水平的胸部X射线和报告的交叉模式检索任务,增强临床决策.
• 开发和验证基于适配器的预训练和微调策略,以改善跨不同数据集的模型概括性.

主要方法:

• 实施了研究水平的交叉模式检索方法,以匹配多个胸部X射线图像与相应的报告.
• 在预培训期间,利用视觉转换器集成研究级图像特征,并将它们与报告特征对齐.
• 采用基于适配器的微调方法,将其效率与全参数微调和其他常用方法进行比较.

主要成果:

• 在培训前阶段证明了整合研究级图像和报告特征的有效性.
• 与全参数微调相比,展示了基于适配器的微调方法的优越效率和性能.
• 废弃性研究证实了拟议的基于适配器的方法的优势.

结论:

• 研究水平的交叉模式检索任务为匹配胸部X射线和报告提供了更现实的和临床相关的方法.
• 拟议的基于适配器的预训练和微调策略有效地解决了数据分布的不一致性,并增强了模型的概括性.
• 该方法在改善诊断准确性和报告生成方面显示出实际临床应用的巨大潜力.