大型语言模型协同作用为医疗问题答复中的合奏学习:设计和评估研究
Han Yang1, Mingchen Li2, Huixue Zhou1
1Institute for Health Informatics, University of Minnesota, Minneapolis, MN, United States.
Journal of medical Internet research
|July 14, 2025
概括
合体学习显著提高了大语言模型 (LLM) 在医疗问题答案中的性能. 我们的LLM-Synergy框架结合了多个LLM,在关键医疗QA数据集上表现优于单个模型.
科学领域:
- 人工智能的人工智能
- 生物医学信息学 生物医学信息学
- 自然语言处理自然语言处理.
背景情况:
- 大型语言模型 (LLM) 在医学问题答案 (QA) 中表现有希望,但在数据集的性能上有所不同.
- 对个别的LLM进行比较 (GPT-4,Llama2-13B,Vicuna-13B,MedLlama-13B,MedAlpaca-13B) 发现了绩效上的差异.
- 通过合体方法利用集体LLM的优势对于改善医疗质量保证至关重要.
研究的目的:
- 开发和评估医疗质量保证的高效集体学习策略.
- 在三个不同的医疗质量保证数据集中增强LLM性能.
主要方法:
- 使用了三个医疗质量保证数据集:PubMedQA,MedQA-USMLE和MedMCQA.
- 引入了LLM-Synergy框架,采用两种组合方法:基于提升的权重多数投票和基于集群的动态模型选择.
- 组合方法采用了基于嵌入和集群的自适应权重和动态模型选择.
主要成果:
- 这两种组合方法在所有测试的数据集上都超过了单个LLM的性能.
- 基于提升的组合实现了35.84% (MedMCQA),96.21% (PubMedQA) 和37.26% (MedQA-USMLE) 的精度.
- 基于集群的组合实现了更高的准确性:38.01% (MedMCQA),96.36% (PubMedQA) 和38.13% (MedQA-USMLE).
结论:
- 通过利用合体学习,LLM-Synergy框架显著提升了医疗质量保证能力.
- 这一框架提供了一个灵活而有效的策略,用于结合不同的LLMs.
- 它解决了医疗QA生物医学信息学的当前和未来的挑战.
相关概念视频
Model Approaches for Pharmacokinetic Data: Distributed Parameter Models
129
Pharmacokinetic models are mathematical constructs that represent and predict the time course of drug concentrations in the body, providing meaningful pharmacokinetic parameters. These models are categorized into compartment, physiological, and distributed parameter models.
The distributed parameter models are specifically designed to account for variations and differences in some drug classes. This model is particularly useful for assessing regional concentrations of anticancer or...
The distributed parameter models are specifically designed to account for variations and differences in some drug classes. This model is particularly useful for assessing regional concentrations of anticancer or...
129
Improving Translational Accuracy
2.7K
2.7K


