在孕产妇护理中,人工智能驱动的临床指南建议:它们有多可信?

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 医疗信息学 医疗信息学

背景情况:

• 医务人员很难有效地应用临床指南.
• 大型语言模型 (LLM) 和检索增强生成 (RAG) 提供了潜在的解决方案.
• RAG系统可以提供与医学指导方针一致的特定环境输出.

研究的目的:

• 在RAG系统中评估商业LLM对孕产妇健康问题的查询.
• 使用人类和自动化指标评估绩效.
• 根据临床指南确定LLM生成答案的准确性和可靠性.

主要方法:

• 使用哥伦比亚孕产妇护理指南进行的受控实验.
• 医生提出的问题和基本真相答案.
• 通过标准化提示测试各种LLM,并通过二进制答案概念排名和RAG评估通过其他LLM进行评估.

主要成果:

• GPT-3.5获得了医生评估的最高准确度 (0.90) 和答案相关性 (0.94,0.86).
• 克劳德3.5和Mistral在不同的LLM评估中显示出高忠诚度得分 (分别为0.78和0.84).
• 较大的模型 (GPT-3.5,克劳德,拉玛70B) 的表现优于较小的模型 (拉玛8B).

结论:

• 在产科中整合RAG可以增强基于证据的实践和患者的结果.
• 在临床部署基于LLM的系统之前,严格的验证至关重要.
• 在改善指导方针遵守和临床决策支持方面,LLM显得有前途.