评估临床AI总结与大型语言模型作为法官

科学领域:

• 人工智能在医学中的应用
• 临床信息学 临床信息学
• 自然语言处理自然语言处理.

背景情况:

• 电子健康记录 (EHR) 产生了大量的临床数据,这给医疗保健提供者带来了高效合成的挑战.
• 生成型人工智能和大型语言模型 (LLM) 提供了概括EHR的潜力,以减少提供者的认知负载.
• 确保人工智能生成的摘要的准确性需要强大的评估方法,因为人类审查是耗时和昂贵的.

研究的目的:

• 引入和验证基于LLM的自动化方法,以评估从现实世界EHR数据中获得的多文档摘要的质量.
• 将LLM-as-a-Judge框架与已建立的提供者文档总结质量工具 (PDSQI) 进行比较.

主要方法:

• 开发和验证了一个LLM-as-a-Judge框架,用于评估EHR多文档摘要.
• 基于LLM的评估与使用PDSQI的人类审查进行了基准评估.
• 评估评价者之间的可靠性和绩效指标,包括类内相关系数 (ICC) 和评估时间.

主要成果:

• 作为法官的法学士框架表现出强大的评审者之间的可靠性,与人类评审者相美.
• 从人类评估中,GPT-o3-mini获得了0.818的ICC和0的中位分差,在22秒内完成了评估.
• 推理的LLM在评级者之间的可靠性方面表现优于其他方法,特别是在需要领域专业知识的复杂评估中.

结论:

• 基于LLM的自动化评估提供了一个可扩展和高效的方法来评估AI生成的临床摘要的准确性和安全性.
• 作为法官的法学士 (LLM-as-a-Judge) 方法可以显著降低与传统的人类审查相关的负担和成本.
• 这项技术有助于可靠地部署人工智能来合成电子健康记录中的临床数据.