适应生成性大语言模型,从住宅老年护理的非结构化电子健康记录中提取信息:对培训方法的比较分析

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 从非结构化的电子健康记录中提取信息是复杂的.
• 生成型大语言模型 (LLM) 为临床信息提取提供了潜在的解决方案.
• 对于住宅养老机构的最佳LLM适应方法需要进一步研究.

研究的目的:

• 评估老年护理LLMs的零射击和少数射击学习方法.
• 评估参数有效微调 (PEFT) 和检索增强生成 (RAG) 对LLM性能的影响.
• 为了比较不同LLM培训策略在护理笔记中的命名实体识别 (NER) 的有效性.

主要方法:

• 使用Llama 3.1-8B用于在澳大利亚老年护理机构的护理笔记上进行命名实体识别 (NER).
• 与PEFT和RAG的零射击和少射击学习进行比较.
• 使用准确度,精度,回忆和F1分数进行评估性能,并进行统计学意义测试.

主要成果:

• 使用PEFT或RAG的零射击和少数射击学习显示了相似的性能.
• 在没有PEFT或RAG的情况下,Few-shot学习的表现优于零射击学习.
• 对于零射击和少数射击学习,PEFT显著提高了性能.
• RAG 显著提高了性能,但仅用于几次学习.
• 使用PEFT的零射击学习实现了与使用RAG的少数射击学习相比的性能.

结论:

• PEFT是一种高度有效的方法,用于适应LLMs,以获取老年护理中的临床信息.
• 短暂的学习与RAG相结合,提供了卓越的性能.
• 这些发现指导了对临床IE在老年护理机构中的LLM优化.