大型语言模型可以成为良好的医学解说者:在日本EHR中检测药物变化的案例研究
Takeshi Ito1, Tomohide Yoshie2, Sohei Yoshimura2
1Nara Institute of Science and Technology, Japan.
大型语言模型 (LLM) 显示出在日本电子健康记录 (EHR) 中标记与不良事件相关的治疗中止的前景. 将LLM标签与手册注释相结合,改善了分类,尽管需要增强回忆.
科学领域:
- 医疗信息学 医疗信息学
- 自然语言处理自然语言处理.
- 临床数据分析 临床数据分析
背景情况:
- 准确分类与不良事件相关的治疗中止对于患者安全至关重要.
- 电子健康记录 (EHR) 包含有价值的数据,但需要有效的方法来识别不良事件.
- 手动注释临床数据是耗时和资源密集的.
研究的目的:
- 评估使用大型语言模型 (LLM) 在日本EHR中标记与不良事件相关的治疗中止的有效性.
- 为了比较LLM生成的标签与手动注释相结合的性能与纯手动注释.
- 评估LLM驱动的标签在改善临床实践中检测不良事件的效率方面的潜力.
主要方法:
- 采用了混合方法,将LLM自动生成的标签与一小组手动注释相结合.
- 两个模型,JMedRoBERTa和T5,在6156个LLM标记记录和200个手动标记样本的数据集上进行了微调.
- 模型性能在100条记录的测试集上进行了评估,重点是对不良事件分类的精度和回忆.
主要成果:
- 在结合LLM和手册标签的训练中,T5模型实现了0.83的精度.
- 然而,T5型号在相同的培训场景中显示出0.25的低回忆率.
- 仅仅在有限的手册注释 (200个样本) 上进行训练,导致模型无法检测任何不良事件,使得性能测量成为不可能.
结论:
- 大规模的LLM驱动标签在电子健康记录中对与不良事件相关的治疗中止进行分类具有重大潜力.
- 改善模型回忆和确保高质量的LLM生成标签对于实际的临床应用至关重要.
- 利用LLM的混合方法可以提高不良事件识别的效率,但需要进一步改进.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
05:56Objectification of Tongue Diagnosis in Traditional Medicine, Data Analysis, and Study Application
Published on: April 14, 2023
相关概念视频
Pharmacokinetic Models: Overview
There are three primary types of models: empirical, compartment, and physiological. Empirical models, with minimal...
Drug Nomenclature
Classification of Illness
An illness is a response to a disease in which the person's level of functioning is changed compared with a previous level. The general classification of illness includes acute and chronic.
Acute illness is severe...
Improving Translational Accuracy
Model-Independent Approaches for Pharmacokinetic Data: Noncompartmental Analysis
One important characteristic of noncompartmental analyses is that drug exposure increases proportionally with increasing doses. This...
Model Approaches for Pharmacokinetic Data: Distributed Parameter Models
The distributed parameter models are specifically designed to account for variations and differences in some drug classes. This model is particularly useful for assessing regional concentrations of anticancer or...
