一个基于大型语言模型的生成性自然语言处理框架,对临床记录进行微调,准确地从电子健康记录中提取头痛频率

科学领域:

• 自然语言处理 (NLP) 是一种自然语言处理.
• 医疗保健中的机器学习
• 偏头痛研究 偏头痛研究

背景情况:

• 头痛的频率对于评估偏头痛预防治疗至关重要.
• 传统的NLP方法很难从电子健康记录 (EHR) 中准确地提取头痛频率,因为临床文档不一致.

研究的目的:

• 开发和评估先进的NLP模型,以准确地从EHR中提取头痛频率.
• 在此任务中,将基于GPT-2的模型与ClinicalBERT的性能进行比较.

主要方法:

• 以1915年神经学咨询笔记为基础的回顾性横截面研究,来自三家梅奥诊所 (2012-2022年) 的三个中心.
• 使用了四种NLP框架:临床BERT回归,GPT-2问答 (零射击和少数射击) 和GPT-2生成 (少数射击).

主要成果:

• GPT-2生成模型以0.92准确度和0.89R2得分实现了最高的性能.
• 基于GPT-2的模型在头痛频率提取的准确度上表现优于ClinicalBERT.
• 临床BERT显示高R2得分 (0.88),预测频率在±3天内,优于一些GPT-2变体.

结论:

• 一个最先进的GPT-2生成模型有效地从EHR中提取高精度的头痛频率,解决了传统NLP的局限性.
• 基于GPT-2的框架在这个特定的任务中显示出与ClinicalBERT相比更高的性能.
• 开发的GPT-2生成模型和代码是开源的,以支持该领域的进一步研究.