与单个药物相比,组合多种药物在临床规模的工作负载下保持准确性

科学领域:

• 人工智能
• 临床信息学
• 计算医学

背景情况:

• 大型语言模型 (LLM) 对临床应用有希望,但需要在现实的工作负载下进行评估.
• 在医疗保健环境中,LLM代理架构的可扩展性和性能尚未得到充分理解.
• 单剂LLM系统的异质临床任务带来了独特的挑战.

研究的目的:

• 为了比较单剂与多剂LLM系统的临床规模工作负载的性能.
• 在模拟临床流量的不同批量下评估LLM的准确性,效率和延迟.
• 在多个代理框架中评估任务隔离对LLM绩效的影响.

主要方法:

• 测试了两个LLM配置:单个代理和一个编排的多代理系统.
• 任务包括数据检索,提取和剂量计算,批量大小从5到80.
• 性能指标包括聚合精度,代币使用和延迟,分析了四个LLM检查点.

主要成果:

• 多代理系统在负载下保持高准确率 (90.6%在5个任务中,65.3%在80个任务中),而单代理系统的准确率急剧下降 (73.1%至16.6%).
• 在10个任务之外出现了显著的性能差异 (FDR调整后的p < 0.01).
• 与单个代理运行相比,多代理执行将令牌使用量减少了多达65倍,并限制了延迟增长.

结论:

• 对于临床规模的工作负载,LLM代理的轻量化编排是有效的.
• 与医疗保健中的单剂LLM相比,多剂系统提供了更高的准确性,效率和可审计性.
• 多代理设计中的任务隔离可以防止上下文干扰,并维持性能.