使用大型语言模型从原始和未识别的医疗笔记中抽象出健康的复杂社会决定因素:开发和验证研究
Alexandra Ralevski1,2, Nadaa Taiyab3, Michael Nossal2
1Institute for Systems Biology, Seattle, WA, United States.
大型语言模型 (LLM) 在临床笔记中显示出确定健康的社会决定因素 (如住房不安全) 的前景. GPT-4实现了比人类更高的回忆力,但手册审查对于患者护理决策至关重要.
科学领域:
- 医疗信息学 医疗信息学
- 自然语言处理自然语言处理.
- 健康的社会决定因素
背景情况:
- 健康的社会决定因素 (SDoH),如住房不安全,显著影响患者的健康结果.
- 有效地抽象SDoH结构化数据对于生物医学研究和主动医疗干预至关重要.
- 大型语言模型 (LLM) 展示了从非结构化临床文本中复杂数据抽象的潜力.
研究的目的:
- 评估GPT-3.5和GPT-4在从临床笔记中识别住房不安全的时间方面的表现.
- 将LLM性能与手动抽象,命名实体识别和正则表达式进行比较.
- 评估非识别对LLM在住房不安全检测方面的表现的影响.
主要方法:
- 分析了来自795名孕妇的25217份临床笔记.
- 对比了GPT-3.5和GPT-4识别当前,过去和一般住房状况的能力.
- 与人类抽象器,命名实体识别模型和正则表达式对比的LLM结果.
主要成果:
- 与GPT-3.5和命名实体识别模型相比,GPT-4表现出更高的性能.
- 对于当前/过去的住房不稳定性,GPT-4实现了比人类抽象器 (0.702) 更高的回忆率 (0.924).
- GPT-4的精度低于人类抽象器,但在非识别的笔记上有所改善,而回忆力下降.
结论:
- LLM提供了一个可扩展和具有成本效益的SDoH数据抽象方法,特别是在高回忆率的情况下.
- 手动抽象可能会产生略高的精度,但LLM可以支持半自动化过程.
- 人类审查仍然对患者护理决策至关重要,并且去识别可能会对LLM召回产生负面影响.
更多相关视频
07:31Implementation of a Real-Time Psychosis Risk Detection and Alerting System Based on Electronic Health Records using CogStack
Published on: May 15, 2020
08:51Author Spotlight: Integrated Multi-Omics Analysis for Unveiling Multicellular Immune Signatures in Clinical Heart Attack Cohorts
Published on: September 20, 2024
相关概念视频
Data Validation
Nursing assessment guides are generally based on holistic models rather than medical...
Longitudinal Studies
Strategies for Assessing and Addressing Confounding
Confounding can be addressed at both the design phase of a study and through analytical methods after data...
Models of Health Promotion and Illness Prevention I
The health belief model (HBM) attempts to predict health-related behavior in specific belief patterns. According to the HBM, a person's...
Mechanistic Models: Compartment Models in Individual and Population Analysis
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...
