评估大型语言模型,用于起草紧急情况部门的放弃摘要
Christopher Y K Williams1, Jaskaran Bains2, Tianyu Tang2
1Bakar Computational Health Sciences Institute; University of California, San Francisco.
大型语言模型 (LLM) 可以将紧急部门 (ED) 的笔记总结为放电摘要. 然而,GPT-4和GPT-3.5-turbo生成的摘要含有不准确性,幻觉和遗漏,需要临床医生仔细审查.
科学领域:
- 人工智能在医学中的应用
- 临床信息学 临床信息学
- 自然语言处理自然语言处理.
背景情况:
- 大型语言模型 (LLM) 显示出临床应用的潜力,包括自动化文本总结.
- 在医疗保健中部署基于LLM的工具,如环境AI书记,需要严格的准确性评估.
- 紧急情况部 (ED) 退院摘要对于患者护理的连续性至关重要.
研究的目的:
- 评估GPT-4和GPT-3.5-turbo在生成ED排放总结中的性能.
- 为了识别LLM生成的排放摘要中的错误的普遍性和类型.
- 评估LLMs总结的信息的准确性和临床相关性.
主要方法:
- 采用了横截面研究设计.
- 随机选择了2012-2023年在加利福尼亚大学旧金山大学的100名成年ED访问.
- GPT-4和GPT-3.5-turbo从ED临床医生笔记中生成出院摘要,并由紧急医疗医生审查不准确性,幻觉和遗漏.
主要成果:
- GPT-4和GPT-3.5-turbo生成的摘要有不同的错误率;33%的GPT-4和10%的GPT-3.5-turbo摘要没有错误.
- 在GPT-4总结中,不准确率为10%,幻觉率为42%,遗漏率为47%.
- 错误和幻觉在"计划"部分最常见,而遗漏往往涉及"身体检查"和"提交投诉的历史".
结论:
- 虽然LLM可以生成出院摘要,但容易产生事实幻觉和遗漏关键信息.
- 了解LLM生成的临床文本中的特定错误模式对于安全实施至关重要.
- 专家临床医生审查对于减轻与人工智能生成的医疗文件相关的风险至关重要.
更多相关视频
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
07:31Implementation of a Real-Time Psychosis Risk Detection and Alerting System Based on Electronic Health Records using CogStack
Published on: May 15, 2020
相关概念视频
Discharge Summary Forms
Here's a detailed look at the key components and guidelines for preparing a discharge summary:
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...
Guidelines for Nursing Documentation I
Factual:
The following points emphasize the significance of upholding accurate and unbiased documentation in healthcare.
Types of Reports III: Telephone and Verbal Reports
Here's an overview of each type:
Telephone Orders
Documentation of Nursing Diagnosis
In some settings, data-driven computerized decision support systems are in place, allowing for more accurate nursing diagnoses. The database within one of these systems includes diagnostic labels defining characteristics, activities, and indicators for nursing. A nurse enters...
Methods of Documentation V: CBE
In CBE, healthcare professionals establish predefined standards of practice that define what constitutes...
