优化大型语言模型用于出院预测:利用电子健康记录审计日志的最佳实践

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 临床数据科学 临床数据科学

背景情况:

• 电子健康记录 (EHR) 审计日志包含有价值的用户交互数据,用于临床见解.
• 从EHR审计日志中利用时间信息对于医疗保健中的预测建模至关重要.
• 分析电子健康记录审计日志的现有方法可能无法完全捕捉复杂的用户行为和患者轨迹.

研究的目的:

• 通过使用EHR审计日志数据,调查大语言模型 (LLM) 在预测患者出院方面的有效性.
• 为了比较不同LLM (LLaMA-2 70B,GPT-4,DeBERTa) 的临床预测任务的性能.
• 在这种情况下,评估各种数据序列化方法对LLM绩效的影响.

主要方法:

• 利用了来自范德比尔特大学医学中心的一年的EHR审计日志数据.
• 精心调整的大型语言模型 (LLM),使用10,000个随机选择的训练示例.
• 采用了首次出现的序列化方法,并将logit与文本输出进行比较以进行预测.

主要成果:

• 精心调整的LLaMA-2 70B实现了0.80的接收器操作特征曲线 (AUROC) 下的面积 [0.77-0.82],超过了GPT-4 (0.68 [0.65-0.71]) 和DeBERTa (0.78 [0.75-0.82]).
• 与其他序列化技术相比,首次出现的序列化方法表现出优异的性能.
• 来自微调的LLaMA-2 70B模型的Logit输出产生了比文本输出 (0.69 [0.67-0.72]) 更高的AUROC (0.80 [0.77-0.82]).

结论:

• 精心调整的LLM,特别是LLaMA-2 70B,显示出使用EHR审计日志数据推进临床预测任务的巨大潜力.
• 战略序列序列化,例如第一次出现的方法,对于优化LLM性能至关重要.
• 将LLM与EHR审计日志集成为改善医疗保健工作流程和患者结果预测提供了一个有希望的途径.