开源大型语言模型的性能,从临床笔记中提取症状

科学领域:

• 在医疗保健中的自然语言处理 (NLP)
• 临床信息学 临床信息学
• 人工智能 (AI) 在医学中的应用

背景情况:

• 从电子健康记录 (EHR) 中自动提取临床信息对于提高医疗保健效率至关重要.
• 大型语言模型 (LLM) 提供了分析非结构化临床文本的潜力.
• 评估LLM在特定临床任务上的表现,如症状提取和编码是必不可少的.

研究的目的:

• 评估开源基础大语言模型 (LLM) 在从临床笔记中提取症状和征兆 (S&S) 和相应的ICD-10代码方面的能力.
• 为了比较不同版本的Llama模型 (Llama 3.1-13B,Llama 3.3-70B,Me-Llama-13B) 在S&S提取和ICD-10代码生成方面的性能.

主要方法:

• 利用公开的MTSamples数据集,专注于生殖尿路疾病.
• 手动注释数据集的一个子集,用于基准真相比较.
• 评估了三种Llama模型版本的S&S提取和ICD-10代码生成任务,测量一致性,运行时间和性能指标 (回忆,精度).

主要成果:

• 拉玛3.3-70B在测试模型中显示出最好的整体性能.
• 这个模型实现了快速运行时间和高一致性.
• 对于S&S提取,Llama 3.3-70B报告了平均回忆率为0.87和精度为0.71.
• 对于ICD-10代码生成,它实现了0.71的平均回忆率和0.54的精度.

结论:

• 开源的LLM,特别是Llama 3.3-70B,是从临床笔记中自动提取症状,征兆和ICD-10代码的有效工具.
• 这些发现表明,LLM有很大的潜力来简化医疗保健环境中的临床数据处理和编码.
• 进一步的研究可以探索针对各种临床数据集和复杂的编码要求优化LLM性能.