可概括的临床笔记部分识别与大型语言模型

科学领域:

• 自然语言处理自然语言处理.
• 临床信息学 临床信息学
• 医疗保健中的人工智能

背景情况:

• 临床笔记部分的识别对于信息检索和下游NLP任务至关重要.
• 传统的监督方法在不同临床数据集的可转移性方面面临挑战.
• 大型语言模型 (LLM) 为克服这些局限性提供了一个潜在的解决方案.

研究的目的:

• 评估LLM在临床注释部分识别方面的有效性.
• 为了比较各种LLM的性能,包括GPT-4,GPT-3.5和开源模型.
• 调查微调数据集大小和特异性对LLM绩效的影响.

主要方法:

• 使用自由文本部分定义,将框架部分识别作为一个问题答案任务.
• 在没有事先培训的情况下,评估了多个现成的LLM.
• 使用不同大小和特异性的数据集,微调精选的LLM.

主要成果:

• GPT-4获得了最高的F1得分 (0.77),超过了其他车型.
• 对于特定的切口类型,GPT-4显示出高精度 (F1>0.9为33%,F1>0.8为56%).
• 微调模型显示,较大的一般数据集的回报率下降,但在特定的部分识别示例中得到改善.

结论:

• LLM,特别是GPT-4,对可泛化临床笔记部分识别非常有希望,并且正在接近生产准备.
• 开源LLM正在迅速改善,并接近领先的专有模型的性能.
• 通过将部分识别示例纳入LLM微调数据集,可以实现进一步的改进.