从使用大型语言模型的多机构临床笔记中自动提取口头和外行能力的功能生物标志物
Levi Kaster1, Ethan Hillis1, Inez Y Oh1
1Institute for Informatics, Data Science and Biostatistics, Washington University School of Medicine in St. Louis, St. Louis, MO, USA.
Journal of neurodevelopmental disorders
|April 30, 2025
概括
大型语言模型 (LLM) 准确地从智力和发育障碍 (IDD) 和脑 (CP) 患者的电子健康记录 (EHR) 中提取功能生物标志物,如口头和外行能力. 这种自动化方法简化了数据提取,以改善患者护理和研究.
科学领域:
- 神经科学和生物医学信息学
- 人工智能在医疗保健中的应用
背景情况:
- 功能性生物标志物 (口头,外行能力) 对于神经发育障碍管理至关重要.
- 对这些生物标志物的传统评估是繁的,不一致的和不公平的.
- 电子健康记录 (EHR) 包含丰富的纵向数据,用于生物标志物提取.
研究的目的:
- 开发一种自动化方法,从EHR数据中对口头和外行能力进行分类.
- 利用大型语言模型 (LLM) 在智力和发育障碍 (IDD) 和脑 (CP) 患者中有效和准确地提取功能生物标志物.
主要方法:
- 使用了来自国家脑基因登记 (BGR) 和CP诊所队列的临床笔记.
- 雇佣了三个LLM (GPT-3.5 Turbo,GPT-4 Turbo,GPT-4 Omni) 来根据特定提示对口头和外行能力进行分类.
- 评估了LLM预测与从神经行为评估中获得的基本真相能力.
主要成果:
- 在预测两个队伍的门诊能力方面,LLM管道实现了高准确性 (加权F1分数>0.90).
- 在BGR队列中,口头能力预测的准确性更高,与即时-地面-真相坚持相关.
- 尽管计算成本高,LLM协议证明了EHR数据分析的成本效益.
结论:
- 实际上,LLM能够有效地从电子健康记录数据中提取功能生物标志物,在各机构和笔记风格中证明了可通用性.
- 这种自动化方法准确地提取了个人的口头和门诊能力,简化了临床工作流程.
- 未来的研究应该将这种方法扩展到不同的群体和更细致的功能数据分类.
