通过快速工程改进临床命名实体识别的大型语言模型.

科学领域:

• 自然语言处理自然语言处理.
• 人工智能在医学中的应用
• 临床信息学 临床信息学

背景情况:

• 像GPT-3.5和GPT-4这样的大型语言模型显示出临床自然语言处理任务的前景.
• 然而,它们直接应用于临床命名实体识别 (NER) 可能无法在没有特定调整的情况下实现最佳性能.
• 对专门的临床NER进行GPT模型的评估和改进对于其有效地融入医疗保健至关重要.

研究的目的:

• 量化GPT-3.5和GPT-4在临床NER任务上的能力.
• 开发和评估一个特定任务的快速框架,以改善临床NER中的GPT模型性能.
• 为了比较增强的GPT模型与专门的临床NER模型的性能,BioClinicalBERT.

主要方法:

• 在两个临床NER任务中评估了GPT-3.5和GPT-4:从临床笔记中提取概念 (MTSamples) 和从安全报告中识别不良事件 (VAERS).
• 开发了一个提示框架,包括基线提示,基于指导方针的提示,错误分析指令和少数镜头学习样本.
• 模型的性能使用F1评分进行评估,并与BioClinicalBERT进行比较.

主要成果:

• 在没有专业提示的情况下,GPT-3.5和GPT-4在两个数据集上都获得了较低的F1分数,与BioClinicalBERT相比.
• 建议的提示框架显著改善了GPT模型的性能,GPT-4在使用所有提示组件时在MTSamples上获得了0.861的F1分,在VAERS上获得了0.736分.
• 尽管有改进,但增强的GPT模型仍然落后于BioClinicalBERT,但需要更少的培训样本.

结论:

• 将GPT模型直接应用于临床NER是不理想的.
• 包含医学知识和培训样本的特定任务快速框架大大提高了GPT模型对临床NER的性能.
• 这些发现突显了快速工程的潜力,以适应大型语言模型用于实际的临床应用.