SynthEHR-eviction:通过LLM增强的合成EHR数据来增强驱逐SDoH检测

科学领域:

• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.
• 健康的社会决定因素

背景情况:

• 驱逐是健康的关键社会决定因素 (SDoH),与住房不稳定,失业和心理健康问题有关.
• 关于驱逐的信息通常在电子健康记录 (EHR) 中是无结构的,这阻碍了其在研究和临床实践中的使用.
• 现有的从临床笔记中提取SDoH的方法是有限的,特别是对于低资源场景.

研究的目的:

• 引入SynthEHR-Eviction,这是一个可扩展的管道,用于从临床笔记中提取与驱逐有关的SDoH.
• 创建一个大型的,公开可用的数据集,包含14个细粒度类别的与驱逐有关的SDoH.
• 在此数据集上评估微调的大型语言模型 (LLM) 的性能,并将其与现有模型进行比较.

主要方法:

• 开发了SynthEHR-Eviction,这是一个管道集成的人在循环注释,自动提示优化 (APO) 和推理增强微调.
• 从临床笔记创建了与驱逐有关的SDoH的公共数据集.
• 在SynthEHR-Eviction数据集上微调的LLMs (Qwen2.5,LLaMA3) 并使用宏F1分数评估性能.
• 与GPT-4o-APO,GPT-4o-mini-APO和BioBERT进行了微调LLM的比较.

主要成果:

• 精心调整的LLM实现了高绩效:88.8%的宏观F1驱逐和90.3%的其他SDoH.
• 在SDoH提取中,SynthEHR-Eviction的表现优于GPT-4o-APO,GPT-4o-mini-APO和BioBERT的表现.
• 该管道将注释工作减少了80%以上,并加速了数据集的创建.
• 在各种模型大小中实现了具有成本效益的部署.

结论:

• SynthEHR-Eviction能够从临床笔记中进行可扩展和准确的疏散相关SDoH检测.
• 开发的数据集和微调的LLM推进了SDoH研究和医疗保健中的应用.
• 管道显示了对其他信息提取任务的概括性,并减少了对资源的需求.