在现实世界中部署和评估PEri-operativeAI CHatbot (PEACH):一个大型语言模型聊天机器人用于外科手术期间的医学

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 大型语言模型

背景情况:

• 大型语言模型 (LLM) 对复杂的医疗保健任务有希望.
• 该PEri-operative AI CHatbot (PEACH) 是通过将35个外科手术协议集成到一个安全的LLM中来开发的.
• 代的快速工程和内部测试确保了临床相关性和准确性.

研究的目的:

• 开发和评估Peri-operative AI CHatbot (PEACH),用于外科手术期间的决策.
• 评估PEACH系统的准确性,安全性和可用性.
• 将PEACH的表现与机构指南和专家共识进行比较.

主要方法:

• 通过使用真实世界的临床数据进行静音部署来测试PEACH.
• 通过将PEACH响应与机构指南和专家共识进行比较来衡量准确性.
• 使用戴维斯技术接受模型收集用户反,并根据潜在的危害对偏差/幻觉进行分类.

主要成果:

• 更新的PEACH达到97.9%的准确性,明显优于95%的零假设 (p=0.018).
• 幻觉 (1/240) 和偏差 (2/240) 是最小的,表明高安全性.
• 临床医生报告说,PEACH在95%的病例中加速了决策,证明了高可用性和效率.

结论:

• PEACH是一个准确且可适应的AI工具,用于提高外科手术期间决策的一致性和效率.
• 人工智能聊天机器人展示了高的互评级可靠性,与经验丰富的医生相美.
• 未来的研究应侧重于跨医学专业的可扩展性和对临床结果的影响.