在电子健康记录中准确检测疾病的大型语言模型:水晶关节病的例子

科学领域:

• 在医疗保健中的自然语言处理 (NLP)
• 人工智能 (AI) 用于医学诊断
• 临床信息学 临床信息学

背景情况:

• 电子健康记录 (EHR) 包含有价值的临床信息,但需要复杂的数据提取方法.
• 从非结构化文本中检测特定疾病的诊断,比如痛风,由于术语模糊而具有挑战性.
• 大型语言模型 (LLM) 为处理和理解复杂的医学文本提供了先进的功能.

研究的目的:

• 提出并测试一个使用Meta的Llama-3-8B大语言模型 (LLM) 进行疾病诊断检测的框架.
• 专门解决识别"痛风" (goutte) 的挑战,这个术语有多种含义.
• 将LLM框架的性能与传统NLP技术进行比较,并评估其参数灵敏度.

主要方法:

• 开发了一个基于LLM的框架,在700个关于"痛风"的法国EHR段落中进行了培训和测试.
• 利用了为数不多的射击和思维链促使的策略来为LLM.
• 将LLM性能与基于正则表达式 (regex) 的方法进行比较,并对氧化沉积疾病 (CPPD) 进行600段验证.

主要成果:

• 该LLM框架实现了高精度的痛风检测:95.4% (93.6%-96.7%),具有92.7%的正预测值和96.6%的负预测值.
• 该LLM还在CPPD验证方面表现出强的表现,准确率为94.1%.
• 基于LLM的方法超过了传统的regex方法,并在各种参数设置中显示出稳定性.

结论:

• 语言学士可以准确地从非英语电子健康记录中识别疾病诊断,在不同的语言环境中展示他们的潜力.
• 这项技术可以促进创建跨多种语言的大规模疾病登记册.
• 这些发现表明,LLM可以提高疾病护理评估和简化临床试验的患者招募.