探索基于提示符的大型语言模型 (LLM) 方法,用于在医疗事故报告中识别与药物错误相关的命名实体.
Mizue Ogi1, Shin Ushiro2,3, Zoie Shui-Yee Wong1
1Graduate School of Public Health, St.Luke's International University, Tokyo, Japan.
生成式预训练语言模型 (LLM) 在医疗报告中显示出命名实体识别 (NER) 的前景. 虽然GPT-4.0的表现很好,但它没有超过以前的模型,这表明临床数据提取存在挑战.
科学领域:
- 自然语言处理 (NLP) 是一种自然语言处理.
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
背景情况:
- 药物错误在医疗保健中构成重大风险.
- 创新的分析方法对于识别和减轻这些错误至关重要.
- 命名实体识别 (NER) 对于从非结构化医疗文本中提取关键信息至关重要.
研究的目的:
- 探索生成预训练语言模型 (LLM) 在日本医疗事故报告中对NER的有效性.
- 将各种LLM的性能与既有模型和基准数据集进行比较.
- 为应对临床NER挑战提出一个基于提示的框架.
主要方法:
- 在日本医疗事故报告的国家开源数据集上对四种LLM (Llama-3-ELYZA,BioMistral-7B,GPT-4.0 mini,GPT-4.0) 的评估.
- 与之前发布的注释数据集相比,LLM NER性能的比较.
- 实施基于提示的框架,包括实体类型的定义和简单的例子.
主要成果:
- GPT-4.0在测试的LLM中表现出优越的性能,但没有超过微调BERT模型的性能.
- 对数值实体而言,一些射击提示实现了高精度 (例如",强度率",F1得分:0.951).
- 由于语言复杂性,临床特定实体的表现不足于最佳,尽管提供定义和示例改善了GPT-4.0的结果.
结论:
- 生成型LLM提供了临床NER的潜力,而不需要广泛的微调.
- 临床数据中的语言复杂性对当前基于LLM的NER提出了挑战.
- 需要进一步的研究,以优化专业医学术语和复杂的临床环境的LLM性能.
更多相关视频
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
相关概念视频
Types of Reports II: Incident or Occurrence Report
Purposes:
In the healthcare industry, reports play a crucial role in documenting incidents within an agency. The primary objective of these reports is to ensure patient safety, uphold the...
Types of Reports III: Telephone and Verbal Reports
Here's an overview of each type:
Telephone Orders
Drug Nomenclature
Pharmacovigilance
This process, termed pharmacovigilance, aims to detect, evaluate, and minimize harmful effects related to medication use. The data collection for pharmacovigilance depends on spontaneous reporting systems, where healthcare professionals or patients voluntarily report suspected ADRs.
In some cases, there...
Guidelines for Nursing Documentation I
Factual:
The following points emphasize the significance of upholding accurate and unbiased documentation in healthcare.
Methods of Documentation II: POMR
