オーケストラ・マルチエージェントは,単一のエージェントと比較して,臨床スケールの作業負荷の下で正確性を維持します

科学分野:

• 人工知能
• 臨床情報学
• コンピューター医学

背景:

• 大規模言語モデル (LLM) は臨床応用には有望ですが,現実的な作業量下での評価が必要です.
• 医療環境におけるLLMエージェントアーキテクチャのスケーラビリティとパフォーマンスは十分に理解されていません.
• 異質な臨床課題は,単剤LLMシステムにユニークな課題を提示します.

研究 の 目的:

• 単剤対多剤LLMシステムの性能を臨床スケールワークロードで比較する.
• 臨床トラフィックをシミュレートする異なるバッチサイズの下でのLLMの精度,効率,および遅延を評価する.
• マルチエージェントの枠組みでLLMのパフォーマンスにタスクの孤立が与える影響を評価する.

主な方法:

• 単一のエージェントとオーケストラされた複数エージェントのシステムである2つのLLM構成がテストされました.
• 作業には,データ取得,抽出,および投与量計算が含まれ,バッチサイズは5から80まででした.
• パフォーマンスメトリックには,4つのLLMチェックポイントで分析されたプールの精度,トークンの使用,およびレイテンシーが含まれています.

主要な成果:

• マルチエージェントシステムは,負荷下で高い精度を保ち (5つのタスクで90.6%,80つのタスクで65.3%),単一のエージェントの精度は急激に低下した (73.1%から16.6%).
• FDR調整したp < 0. 01) を超えて,重要な性能の違いが出現した.
• マルチエージェントの実行はトークンの使用量を最大65倍に減らし,単一のエージェントの実行と比較して遅延の増加を制限しました.

結論:

• LLMエージェントの軽量オーケストレーションは,臨床スケールのワークロードに有効です.
• マルチエージェントシステムは,医療における単一エージェントのLLMと比較して,優れた精度,効率,監査能力を提供します.
• 多エージェント設計におけるタスクの分離は,コンテキストの干渉を防止し,パフォーマンスを維持します.