医疗文本记录的实体提取管道使用大型语言模型:分析研究
Lei Wang1,2, Yinyao Ma3, Wenshuai Bi1
1BGI Research, Wuhan, China.
Journal of medical Internet research
|March 29, 2024
概括
这项研究引入了一种新的管道,用于使用大型语言模型 (LLM) 从文本中提取临床特征. 该管道展示了高精度和效率,即使在消费级硬件上,为临床数据挖掘提供了可行的解决方案.
科学领域:
- 临床信息学 临床信息学
- 自然语言处理自然语言处理.
- 医疗保健中的人工智能
背景情况:
- 临床数据,包括文本,对于了解疾病进展至关重要.
- 大型语言模型 (LLM) 提供了从临床文本中提取语义特征的潜力.
- 安全性和特征幻觉是临床研究LLM的关键挑战.
研究的目的:
- 引入一种新的模块化管道,用于从文本患者入院记录中提取语义特征,使用LLMs.
- 用不同的LLM和消费级硬件来评估管道的性能.
主要方法:
- 设计了一个系统的管道,包括概念提取,聚合,问题生成,语料库提取和问题和答案尺度提取.
- 该管道使用Qwen-14B-Chat (QWEN) 和Baichuan2-13B-Chat (BAICHUAN) LLMs对25709例怀孕病例进行了测试.
- 评估指标包括准确性,精度,零比率和时间消耗,性能也在消费级GPU上的量化LLM版本上进行评估.
主要成果:
- 管道实现了高精度,Qwen-14B-Chat显示95.52%的精度和92.93%的精度,Baichuan2-13B-Chat显示95.86%的精度和90.08%的精度.
- 观察到低的零比率,时间消耗有所不同.
- 一个INT4量化版本的Qwen-14B-Chat实现了97.28%的准确性和0%的零比率,证明了性能提升.
结论:
- 该管道在不同的LLM中展示了一致的性能,以从文本数据中有效地提取临床特征.
- 在消费级硬件上观察到可靠的性能.
- 这种方法为从非结构化文本记录中挖掘临床研究数据提供了有效的解决方案.
