大型语言模型在急性冠状动脉综合征指南上的表现,使用检索增强代

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 医疗信息学 医疗信息学

背景情况:

• 大型语言模型 (LLM) 在干预心脏病学中表现有前途,但受到事实上的不准确性 (幻觉) 的限制.
• 确保临床实用性需要提高医疗保健环境中LLM输出的可靠性和准确性.

研究的目的:

• 根据急性冠状动脉综合征指南,评估取回增强生成 (RAG) 对LLM回答问题的准确性的影响.
• 为了比较不同LLM的性能,有或没有RAG,与既定的临床指南.

主要方法:

• 三个LLM (ChatGPT-4o,DeepSeek R1,Med-PaLM 2) 用38个基于指南的心脏病问题进行评估.
• 聊天GPT-4o和DeepSeek R1在RAG和没有RAG的情况下进行了测试;Med-PaLM 2在没有RAG的情况下进行了测试.
• 模型响应与使用人工智能驱动的相似度评分工具对准则建议进行了比较.

主要成果:

• 使用RAG的DeepSeek R1以94.7%的准确率显示出最高的准确率,其次是使用RAG的ChatGPT-4o以92.1%的准确率.
• RAG显著提高了ChatGPT-4o的精度,从71.1%提高到92.1% (P = 0.017).
• 在没有RAG的情况下,DeepSeek R1 (78.9%) 的表现优于ChatGPT-4o (71.1%) 和Med-PaLM 2 (68.4%).

结论:

• 使用RAG将指南内容集成到LLM工作流中,提高了临床应用的准确性,特别是在干预心脏病学中.
• 通过RAG增强特定领域的知识,支持优化临床决策和遵守医疗指南.
• 当LLM与RAG增强时,它具有改善医疗保健实践和患者结果的巨大潜力.