一个框架来评估临床安全和幻觉率的LLMs医疗文本总结的医学文本总结

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床文档 临床文档

背景情况:

• 大型语言模型 (LLM) 提供了自动化医疗保健任务的潜力,例如咨询总结.
• 确保LLM输出的准确性 (忠实性) 对患者安全至关重要,防止错误沟通.
• 在临床环境中现有的LLM应用需要强大的评估框架.

研究的目的:

• 提出和验证一个全面的框架来评估和提高LLM产生的临床文档的安全性.
• 量化LLM生成的临床笔记中的错误率,并评估它们对患者护理的潜在影响.
• 在临床环境中开发工具和方法来代地改进LLM绩效.

主要方法:

• 开发一种新的错误分类法来分类LLM输出偏差.
• 实验结构的实施,用于代的LLM文档生成和比较.
• 创建一个临床安全框架,以评估与LLM错误相关的潜在危害.
• 设计一个图形用户界面 (CREOLA) 以简化评估过程.
• 分析了12999个临床医生注释的句子在18个实验LLM配置的临床笔记生成.

主要成果:

• 在LLM生成的临床笔记中,确定了1.47%的幻觉率和3.45%的遗漏率.
• 证明快速和工作流程的完善显著减少了重大错误.
• 取得的错误率低于以前报告的人类笔记记录的错误率.
• 验证了拟议框架在提高临床文档安全方面的有效性.

结论:

• 开发的框架提供了一个系统的方法,以确保在临床环境中LLM输出的忠实性和安全性.
• 使用拟议框架进行代改进可以大幅度减轻与LLM生成的临床文档相关的风险.
• 这些发现表明,LLM可以安全地集成到医疗保健工作流程中,可能在特定的文档任务中超越人类的准确性.