从非结构化和半结构化电子健康记录中提取数据的大型语言模型:多个模型绩效评估模型.

科学领域:

• 人工智能在医学中的应用
• 医疗保健的自然语言处理.

背景情况:

• 电子健康记录 (EHR) 包含大量的非结构化和半结构化数据.
• 从电子健康记录中有效提取数据对于研究和临床决策至关重要.
• 目前用于EHR数据提取的方法可能是耗时和劳动密集的.

研究的目的:

• 评估各种大型语言模型 (LLM) 在从非结构化和半结构化EHR中提取数据的性能.
• 将LLM性能与基线变压器模型进行比较.
• 评估在数据提取任务中的LLM响应的一致性.

主要方法:

• 创建了50个具有结构和非结构组件的合成英语医疗笔记,并经过专家验证.
• 18名LLM被提示使用这些笔记进行数据提取和分类任务.
• 性能以四个实体提取和五个二进制分类任务的准确度来衡量.
• 在三个相同的提示代中评估了响应一致性.

主要成果:

• 一些LLM,包括克劳德3.0 Opus,GPT 4和双子星高级,实现了优秀的整体准确度超过0.98.
• 这些表现最好的LLM显著超过了基线RoBERTa模型 (0.742准确度).
• 在多个运行中观察到领先的LLM的高响应一致性 (Krippendorff的α值接近1).

结论:

• 克劳德3.0 Opus,克劳德3.0 Sonnet,克劳德2.0,GPT 4,克劳德2.1,Gemini Advanced,PaLM 2聊天野牛和Llama 3-70b在电子健康记录数据提取方面表现出卓越的性能.
• 这些LLM为实体提取和分类任务提供可靠的数据提取功能.
• 建议对现实世界EHR数据进行进一步验证,以确认这些有希望的结果.