评估医院健康数据的大型语言模型,用于自动化紧急分拣

科学领域:

• 医疗保健中的人工智能
• 临床决策支持系统 临床决策支持系统
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 提供了处理电子医疗记录 (EHR) 的潜力,并在最低限度的培训中产生知识.
• 它们在临床决策支持中的应用,特别是在有有限文本数据的急诊室 (ED) 预选中,需要进行研究.

研究的目的:

• 评估LLM在急诊室分类中的临床决策支持的有效性.
• 将LLM与传统的机器学习 (ML) 方法进行比较,使用紧急严重性指数 (ESI) 作为黄金标准.

主要方法:

• 与ML模型进行基准测试,将通用,专用和微调的LLM与ML模型进行比较.
• 使用来自MIMIC-IV-ED数据库的平衡子集 (n=1000).
• 促使所有模型从EHR数据中预测ESI分数.

主要成果:

• 性能最好的模型平均F1得分低于0.60.
• 在某些情况下,零射击和微调的LLM在某些情况下超过了标准ML模型.
• 增加了LLM衍生功能的ML模型或知识图表超过了仅LLM的性能.

结论:

• 在具有有限文本数据的场景中,LLM在临床决策支持中具有价值,例如ED分拣.
• 将LLM知识表示集成到现有的ML模型中比单独使用LLM更有希望.
• 这种综合方法可以提高自动分选系统的准确性.