利用具有序列提示的大型语言模型从自由文本眼科笔记中提取眼科检查结果

科学领域:

• 眼科医生 眼科 眼科
• 人工智能的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 电子健康记录 (EHR) 包含有价值的临床信息.
• 从非结构化的临床笔记中提取具体发现是具有挑战性的.
• 需要自动化方法来有效处理眼科笔记.

研究的目的:

• 评估大型语言模型 (LLM) 用于识别裂纹灯和 fundus 检查结果.
• 评估LLM在从自由文本临床笔记中提取眼科检查数据方面的表现.
• 将LLM能力与BERT等既有模型进行比较.

主要方法:

• 一个回顾性队列研究使用眼科进展笔记从斯坦福大学.
• 开发了一种新的顺序命名实体识别 (NER) 提示方法.
• 将开源LLM (Mistral Nemo 12B,Llama 3.1 8B,Llama 3.1 70B) 与微调的BERT模型进行比较.
• 在模板 (SmartLink-300) 和非结构化 (自由文本-200) 眼科笔记上进行了测试.

主要成果:

• 拉玛3.1 70B实现了最高的性能,在SmartLink笔记上微平均F1得分为0.92.
• 拉玛3.1 70B在不同的眼科检查组件中表现出强的表现 (FE:0.94,SLE:0.91).
• 对于非结构化的笔记,Llama 3.1 70B获得了高F1分 (0.93-0.96),而BERT微调是不可行的.

结论:

• 具有连续提示的大型语言模型在NER任务中优于或匹配精细调整的BERT模型.
• 在不适合BERT微调的数据集上,LLM显示出灵活性和稳定性.
• 从眼科笔记中提取自动,准确的信息,LLM提供了一个有前途的解决方案.