人工智能生成的患者信息回复草案:探索实施的影响

科学领域:

• 临床信息学 临床信息学
• 医疗保健中的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 电子健康记录 (EHR) 为临床医生带来了行政挑战.
• 大型语言模型 (LLM) 为减少医生工作量提供了潜在的解决方案.
• 在临床环境中对LLM工具的现实世界的验证对于采用至关重要.

研究的目的:

• 评估在EHR系统中对患者信息的LLM生成的响应草案的采用,使用和节省时间的潜力.
• 评估LLM整合对医生工作流程和响应质量的影响.

主要方法:

• 一项前性观察队列研究,涉及100名医生,在一个非英语学术医院的14个专业.
• 医生在16周内为919个患者发送的信息中,在LLM生成的草稿回复和空白回复之间进行了选择.
• 分析包括采用率,文本相似性得分 (ROUGE-1,BLEU-1),以及用于消息调整的时间.

主要成果:

• 医生在58%的患者信息中采用了LLM生成的草稿.
• 43%的被采纳草案显示了与最终发送的消息有显著的文本相似性 (≥10%匹配,ROUGE-1:86%).
• 在LLM辅助和空白答复 (153s与157s) 之间没有观察到总响应时间的显著差异.

结论:

• 总体而言,LLM生成的答案草案的采用率达到58%,在各专业之间存在显著差异.
• 目前的实施并没有立即节省时间,这表明了学习曲线.
• 通过LLM整合,可以在第三级,非英语临床环境中安全使用,并有可能在未来提高效率.