効率的なベイズ方策再利用と視点不変対照認識によるマルチエージェント方策適応

科学分野:

• 人工知能
• マルチエージェントシステム
• 強化学習

背景:

• ベイズ方策再利用（BPR）は、非定常な敵への適応を可能にしますが、単一エージェント、完全観測設定に限定されます。
• 部分観測とマルチエージェントの協調は、既存の方策適応フレームワークにとって大きな課題となります。

研究 の 目的:

• BPRとマルチビュー対照学習を統合し、部分観測マルチエージェント環境における効率的な方策適応を実現するBPR-VCAを提案すること。
• エージェントが局所的な観測から学習し、限られた情報にもかかわらずグローバルなダイナミクスについて合意に達することを可能にすること。

主な方法:

• BPR-VCAは、局所的な観測軌道を使用して信念更新を行い、部分観測の問題に対処します。
• 視点不変対照認識（VCA）モジュールは、グローバルビューとローカルビューを統合することにより、環境変化に関する合意を促進します。
• 分散型オンライン信念更新により、エージェントは適切な共同方策を選択できます。

主要な成果:

• BPR-VCAは、4つの競争シナリオすべてで優れたパフォーマンスを示しました。
• このフレームワークは、最先端のベースラインと比較して、エピソード報酬と累積報酬の両方で高い値を示しました。
• より速く、より正確な敵認識と、より高い勝率が観察されました。

結論:

• BPR-VCAは、方策適応における部分観測とマルチエージェント協調の課題を効果的に解決します。
• 提案手法は、動的な環境における適応型AIエージェントを必要とする実世界のアプリケーションに堅牢なソリューションを提供します。