在后急性感染综合征中对病原体疾病分类的大型语言模型进行基准测试
Syed Mohammed Khalid1, Tom Wölker1, Leidy-Alejandra G Molano1,2
1Clinical Bioinformatics, Saarland University, 66123 Saarbrücken, Germany.
Briefings in bioinformatics
|March 6, 2026
概括
大型语言模型 (LLM) 可以在后急性感染综合征 (PAIS) 文献中识别病原体与疾病的联系. 使用像Mistral-Small-Instruct-2409这样的模型进行零射击提示,对于这个复杂的任务是最有效的.
科学领域:
- 计算生物学和生物信息学
- 医学中的自然语言处理.
- 传染病研究传染病研究.
背景情况:
- 后急性感染综合征 (PAIS) 是 SARS-CoV-2 等感染后的持续性疾病.
- 从广泛的生物医学文献中提取病原体-疾病关联是具有挑战性的,因为数据异质性.
- 在更广泛的科学库中,有限的研究专门针对PAIS.
研究的目的:
- 评估大型语言模型 (LLM) 在提取PAIS的病原体-疾病关联中的有效性.
- 为了对各种开源LLM进行比较,并为此分类任务提供提示策略.
- 为PAIS文献分析确定最佳的LLM架构和方法.
主要方法:
- 对1000个手动标记的PubMed摘要进行了二进制分类任务.
- 评估了一组多样化的开源LLM (4B-70B参数),包括通用,推理和生物医学模型.
- 测试了包括零射击,少数射击和思维链 (CoT) 在内的促使策略.
主要成果:
- 根据模型大小,架构和提示技术,LLM的性能差异很大.
- 零射击提示产生了最好的结果,Mistral-Small-Instruct-2409和Llama-3.1-Nemotron-70B-Instruct实现了高平衡精度和宏观F1分数.
- 推理模型显示,与一般主义模型不同的是,少量射击和CoT提示的性能有所改善.
结论:
- 在PAIS文献中,LLM,特别是零射击提示,是识别PAIS文献中病原体-疾病关联的有效工具.
- 模型选择和提示策略对于优化生物医学文本挖掘性能至关重要.
- 这种方法可以帮助研究人员在PAIS研究中导航复杂的生物医学数据.
