疫情潜在的病毒是前沿开源LLMs的一个盲点.
Laura Luebbert1,2,3,4, Yasha Ektefaie1,3,4, Arya S Rao4,5
1Eric and Wendy Schmidt Center, Broad Institute of MIT and Harvard, MA, USA.
大型语言模型 (LLM) 在诊断前的传染病分类中扎,表现比标准模型差. 有针对性的调整策略显示出改善LLM在这一关键医疗保健应用中的表现的希望.
科学领域:
- 医疗保健中的人工智能
- 临床决策支持系统 临床决策支持系统
- 传染病流行病学 传染病流行病学
背景情况:
- 诊断前的传染病分类对公共卫生和资源分配至关重要,但仍未得到充分研究.
- 在第一次临床接触时将症状病例分类为病毒与非病毒,这是一个关键的决定点.
- 像尼日利亚这样的低资源环境,由于有限的数据,在传染病管理方面面临着独特的挑战.
研究的目的:
- 评估大型语言模型 (LLM) 在传染病预诊断分类中的性能.
- 评估案例摘要和检索增强生成 (RAG) 的有效性,以提高LLM的绩效.
- 开发和演示调整策略,以增强病毒与非病毒分类的LLM能力.
主要方法:
- 创建尼日利亚医疗保健诊所首次接触传染病病例的基准数据集.
- 对边境开源LLM与病毒与非病毒分类的标准表格模型进行评估.
- 实施和评估集团相对政策优化,为模型调整提供以分选为导向的奖励.
主要成果:
- 在预诊断分类任务中,LLM的表格模型表现低于传统表格模型.
- 案例摘要和RAG只提供了适度的改进,表明简单的信息丰富的局限性.
- 与集团相对政策优化和特定奖励结合的模型显示了持续的绩效改进.
结论:
- 一般用途的LLM在预诊断分类设置中表现出持续的故障模式.
- 针对性,基于奖励的调整对于提高临床分拣应用中的LLM性能至关重要.
- 这项研究突出了改善人工智能驱动的传染病诊断在资源有限的环境中的途径.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
10:11Modeling The Lifecycle Of Ebola Virus Under Biosafety Level 2 Conditions With Virus-like Particles Containing Tetracistronic Minigenomes
Published on: September 27, 2014
相关概念视频
Leaky Scanning
Single Nucleotide Polymorphisms-SNPs
Steps in Outbreak Investigation
Viruses with RNA Genomes
Model Approaches for Pharmacokinetic Data: Distributed Parameter Models
The distributed parameter models are specifically designed to account for variations and differences in some drug classes. This model is particularly useful for assessing regional concentrations of anticancer or...
Improving Translational Accuracy
