人工智能诊断患者问题:对远距离半径骨折的大型语言模型的评估

科学领域:

• 医学的人工智能
• 临床决策支持系统
• 在医疗保健中的自然语言处理

背景情况:

• 大型语言模型 (LLM) 提供临床决策支持的潜力,但需要严格的验证.
• 这项研究评估了一个知识和情报消息接口 (KIMI),一个通过检索增强生成和特定临床指南增强的LLM.
• KIMI是按照美国骨科外科医生协会的指导方针进行的.

研究的目的:

• 评估KIMI在距离半径骨折的度分类中的有效性.
• 评估KIMI能够产生适当的,面向患者的反应.
• 确保LLM产生的临床信息的安全性和可靠性.

主要方法:

• 分析了100个模拟患者对远端半径骨折的查询.
• 四位临床专家独立评估KIMI反应的准则一致性,安全性,清晰度和敏性.
• 用贝叶斯混合效应和有序逻辑回归模型进行统计分析.

主要成果:

• KIMI的反应获得了高评分:94.2%的安全性,88.7%的指导一致性和93.7%的清晰度.
• 专家和LLM分配的敏度之间的一致性为62.9%,手术查询显示安全性和敏度的一致性略高.
• 与专家指定的敏度有显著的相关性 (OR=2.66).

结论:

• 知识和情报信息接口 (KIMI) 证明了安全,临床一致和清晰的通信.
• 这些发现支持在低至中等风险的护理协调中使用增强的LLM.
• 在骨科护理环境中,LLM驱动的工具显示出异步患者沟通的前景.