在临床笔记中标记实体的生成LLM的比较分析
Rodrigo Del Moral-González1, Helena Gómez-Adorno2, Orlando Ramos-Flores2
1Posgrado en Ciencia e Ingeniería de la Computación, Universidad Nacional Autónoma de México, Circuito Escolar, Ciudad Universitaria, Coyoacán, 04510, Ciudad de México, México. rodrigodelmoral@comunidad.unam.mx.
Genomics & informatics
|February 6, 2025
概括
指令微调的大型语言模型 (LLM) 在临床命名实体识别 (NER) 任务中表现得更好. 模型在简单的输出结构中表现最好,用于识别疾病和症状.
科学领域:
- 自然语言处理自然语言处理.
- 临床信息学 临床信息学
- 人工智能的人工智能
背景情况:
- 大型语言模型 (LLM) 越来越多地应用于专业领域.
- 零射击命名实体识别 (NER) 旨在识别没有特定领域培训数据的实体.
- 临床文本对自动信息提取提出了独特的挑战.
研究的目的:
- 评估和比较生成LLM的微调变化,以实现零射击的临床NER.
- 评估Llama 2和Mistral模型在确定临床实体方面的表现.
- 为了确定不同微调策略 (代码,聊天,指令) 对NER精度的影响.
主要方法:
- 利用公开可用的临床病例数据,标记疾病,症状和程序.
- 评估了基础,编码调整,聊天调整和指令调整的Llama 2和Mistral模型.
- 评估实体的识别准确性和在结构化格式中检索实体的能力.
主要成果:
- 在识别临床实体方面,指令微调模型的表现优于聊天微调和基准模型.
- 当被要求提供简单的输出结构时,模型表现出更好的性能.
- 具体的微调方法显著影响临床领域的零射击NER能力.
结论:
- 微调指令是提高临床NERLLM绩效的有希望的策略.
- 更简单的输出格式使LLM能够更准确地提取实体.
- 进一步的研究可以优化临床信息提取的LLM应用.
更多相关视频
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
15.8K
06:48Lexical Decision Task for Studying Written Word Recognition in Adults with and without Dementia or Mild Cognitive Impairment
Published on: June 25, 2019
9.1K
