多模式大语言模型在分析胸部X射线中具有不完整的上下文信息的实用性

科学领域:

• 放射学中的人工智能
• 医学成像分析 医学成像分析
• 临床决策支持系统 临床决策支持系统

背景情况:

• 大型语言模型 (LLM) 在临床环境中越来越多地使用.
• 在不完整的放射学报告中,LLM的表现可能会下降.
• 多模式的LLM提供了整合文本和图像数据的潜力.

研究的目的:

• 评估多式联络LLM,以提高胸部X光学报告的准确性和可解释性.
• 用不完整的数据来评估LLM的稳定性.
• 为了确定多式联网输入是否能减轻性能损失.

主要方法:

• 从MIMIC-CXR.分析300个胸部X射线图像-报告对.
• 测试三个LLM (OpenFlamingo,MedFlamingo,IDEFICS) 在纯文本和多式模式的格式.
• 系统地删除文本数据 (20%,50%,80%) 并通过图像集成进行评估.

主要成果:

• 只有文本的LLM显示性能下降,数据不完整.
• 多模式输入显著改善了MedFlamingo和IDEFICS的性能 (p < 0.001).
• 多模式LLM与仅文本的性能相匹配或超过,即使缺少数据,并减少了幻觉率.

结论:

• 通过不完整的放射学数据,LLM可以产生低于最佳的输出.
• 多模式LLM提高了胸部X光学报告的可靠性和可解释性.
• 整合文本和图像加强了临床决策支持的LLM实用性.