協力のための進化集団を持つグラフベースマルチエージェント強化学習

科学分野:

• 人工知能
• ロボット工学
• コンピュータサイエンス

背景:

• 既存のマルチエージェント強化学習（MARL）法は、エージェントの観測が限られており、相互作用が動的であるため、複雑な協調タスクへのスケーリングに課題があります。
• タスクの複雑さとポリシー空間が増加すると、最適なポリシーへの収束が困難になり、安定したポリシー評価に影響を与えます。

研究 の 目的:

• スケーラビリティと収束の問題を解決するために設計されたMARLフレームワークであるGDEを提案すること。
• 状態の合意なしに、動的な環境におけるエージェントの協調と情報伝播を強化すること。

主な方法:

• GDEは、グラフベースの価値分解と段階的な進化的ポリシー最適化を統合します。
• 進化アルゴリズム（EA）は、ポリシー探索と収束を改善するために、勾配フリーのランダムサーチに利用されます。
• グラフニューラルネットワーク（GNN）は、エージェントの受容野を拡張し、情報伝播を容易にするために採用され、動的なデータでの安定した収束のために順列不変性を利用します。

主要な成果:

• GDEは、StarCraft IIのマイクロマネジメント、MAMuJoCoロボット協調、SUMO自律走行を含む複雑な協調タスクで優れたパフォーマンスを発揮します。
• このフレームワークは、マルチエージェントチーム形成とGNNを通じて複雑な協調ダイナミクスを効果的に捉えます。
• 実験結果は、GDEフレームワーク内の各モジュールの有効性と必要性を検証します。

結論:

• GDEは、MARLにおける協調とポリシー収束を強化するための堅牢なソリューションを提供します。
• グラフベースの分解と進化的最適化の提案された組み合わせは、複雑なマルチエージェントシステムに効果的です。
• フレームワークのモジュール設計と適応性により、多様な実世界のアプリケーションに適しています。