通过整合3个大型语言模型进行肝细胞癌治疗的自动化文献查:方法研究研究

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 瘤学研究研究

背景情况:

• 初级肝癌,特别是肝细胞癌 (HCC),存在诊断和治疗方面的挑战.
• 及时更新临床指南至关重要,但系统性审查的劳动密集型性质阻碍了这一点.
• 对HCC治疗的证据综合需要有效和准确的文献选方法.

研究的目的:

• 开发和评估使用大型语言模型 (LLM) 的自动化文献选工作流程,以加快HCC治疗指南中的证据综合.
• 使用三方LLM框架模拟研究包含/排除的协作决策.
• 与传统方法相比,评估LLM驱动方法的性能和效率.

主要方法:

• 开发了一个三方LLM框架,整合了三个不同的模型 (Doubao-1.5-pro-32k,Deepseek-v3,DeepSeek-R1-Distill-Qwen-7B).
• 该框架的评估是从已发表的HCC元分析中重建的9个数据集.
• 绩效指标包括准确性,一致性 (κ,偏差调整的偏差调整的 κ),回忆,精度,F1分数,处理时间和成本.

主要成果:

• 该LLM框架实现了0.96的加权准确度和实质性协议 (偏差调整后的偏差调整后的 κ=0.91).
• 观察到高加权回忆 (0.90),以及适度加权精度 (0.15) 和F1得分 (0.22).
• 计算效率显示出差异,处理时间从248-5850秒,成本从每组数据0.14美元至3.68美元.

结论:

• 这种LLM驱动的方法显示了加速HCC护理中的证据合成的前景,减少了查时间,同时保持了方法严格.
• 局限性包括临床背景敏感性和错误传播,这表明需要强化学习和特定领域的微调.
• 强化学习的LLM代理架构为简化指南更新提供了一条实用的途径,需要在复杂的临床环境中进一步优化可靠性.