命名实体识别的零射击LLM:在德国临床文本中针对心脏功能指标
Lucas Plagwitz1,2, Philipp Neuhaus1, Kemal Yildirim1
1Institute of Medical Informatics, University of Münster, Münster, Germany.
Studies in health technology and informatics
|September 5, 2024
概括
开源大型语言模型 (LLM) 在从德国临床文本中提取医疗参数方面表现出高准确性,包括从MRI报告中提取心血管指标,即使没有特定的微调.
科学领域:
- 自然语言处理自然语言处理.
- 医疗信息学 医疗信息学
- 人工智能在医学中的应用
背景情况:
- 大型语言模型 (LLM) 显示出医疗应用的前景.
- 开源的LLM (Llama 3,Gemma,Mistral,Mixtral) 被用于非英语临床文本分析.
- 从德国临床文本中提取医疗参数存在研究缺口.
研究的目的:
- 评估开源的LLMs,从德国临床文本中提取医疗参数.
- 专注于心脏MRI报告中的心血管功能指标.
- 评估Llama 3,Gemma,Mistral和Mixtral的表现. 这是一个很好的例子.
主要方法:
- 从497份心脏MRI报告中提取了14个心血管指标 (例如LV-EF,RV-EF).
- 使用右注释和命名实体识别 (NER) 准确度评估模型性能.
- 使用开源的LLM,没有针对德语或数据提取进行特定的微调.
主要成果:
- 实现了高性能,高达95.4%的右侧注释准确度.
- 达到高达99.8%的命名实体识别 (NER) 准确度.
- 尽管缺乏专门的微调,但已证明有效.
结论:
- 开源的LLM对于从临床文本中提取医疗参数是有效的.
- 高精度甚至可以实现非英语文本,如德语.
- 建议使用LLM来提取医疗数据,因为它的准确性和效率.
