评估临床病史的完整性 随图像订单使用适应的开源和封闭源大型语言模型

科学领域:

• 放射学中的人工智能
• 临床数据的自然语言处理.

背景情况:

• 放射学中不完整的临床病史是一个持续的问题,传统上需要手动分析以提高质量.
• 以前评估临床病史完整性的方法是劳动密集型的,并且不容易扩展.

研究的目的:

• 适应和评估开源和闭源大语言模型 (LLM) 来自动提取从成像订单中的临床史元素.
• 利用表现最好的开源LLM来对大量临床病史数据集的完整性进行基准测试.

主要方法:

• 从CT,MRI,US和X光学订单中对50,186个临床病史进行了回顾性分析.
• 通过使用快速工程,上下文学习和微调,对Llama 2-7B,Mistral-7B (开源) 和GPT-4 Turbo (封闭源) LLM进行调整.
• 通过董事会认证的放射科医生的手册注释对LLM绩效的评估,使用准确性,科恩 κ和BERTScore.

主要成果:

• 微调的开源Mistral-7B模型与放射学家达成了实质性一致 (κ = 0.73),并且具有很高的语义相似性 (BERTScore = 0.96).
• 米斯特拉-7B的性能与GPT-4 Turbo在准确性 (91%与92%相比) 和语义相似性方面非常接近.
• 使用Mistral-7B,只有26.2%的临床病史中发现包含所有五个基本元素 (过去的病史,什么,什么时候,在哪里,临床关注).

结论:

• 一个微调的开源LLM (Mistral-7B) 可以有效地提取临床史元素,匹配较大的闭源模型的性能.
• 该LLM为评估临床病史完整性提供了一个可扩展的解决方案,为临床实践建立了一个关键的基准.
• 开发的模型和代码将完全开源,以促进更广泛的采用和进一步的研究.