人口ベースの強化学習による3Dマルチプレーヤーのパフォーマンス
Max Jaderberg1, Wojciech M Czarnecki1, Iain Dunning2
1DeepMind, London, UK. lejlot@google.com jaderberg@google.com.
Science (New York, N.Y.)
|June 1, 2019
まとめ
マルチエージェント強化学習エージェントは Quake III アリーナで人間レベルのパフォーマンスを達成しました. これらのAIエージェントは ゲームのピクセルとスコアだけを使って 複雑な戦略を学び 現実の世界での応用の可能性を示しました
科学分野:
- 人工知能
- 機械学習
- マルチエージェントシステム
背景:
- 強化学習 (RL) は,シングルエージェントと2人のプレーヤーのゲームに優れている.
- 現実の世界では 複数の独立したエージェントが 協力し合ったり 競争したりします
- 既存のRLアプローチは,複雑なマルチエージェントのダイナミクスと闘うことが多い.
研究 の 目的:
- 多剤強化学習 (MARL) の可能性を複雑でダイナミックな環境で評価する.
- マルチプレーヤーのゲームで 人間レベルのパフォーマンスを 発揮できるAIエージェントを開発する
- 学習戦略を調査する 純粋な感覚の入力とゲームの目的
主な方法:
- トーナメントスタイルの評価フレームワークを使用しました.
- 2層の最適化プロセスを用いて独立RLエージェントの集団を同時に訓練した.
- ランダムに生成された環境で 何千もの並列のマッチから エージェントが学びました
- インプットはピクセルとゲームポイントのみで構成されています.
主要な成果:
- Quake III アリーナのキャプチャー・ザ・フラッグモードで人間レベルのパフォーマンスを達成した.
- エージェントは 複雑な協働と競争の行動を 学ぶことができると示しました
- エージェントは内部報酬信号と豊かな世界表現を独立に開発した.
- 高次元の感覚インプットから 効果的な学習を披露しました
結論:
- マルチエージェント強化学習は 人工知能の進歩に 大きな可能性を秘めています
- このアプローチにより AI エージェントは ダイナミックで多エージェントな環境で 複雑なタスクをマスターできます
- この発見は,現実のマルチエージェントシナリオで効果的に動作できるAIへの実行可能な経路を示唆しています.
関連する概念動画
01:23Reinforcement
877
Positive and negative reinforcement are key concepts in operant conditioning, a learning process where the consequences of a behavior affect the likelihood of that behavior being repeated.
Positive reinforcement occurs when a behavior is followed by the presentation of a rewarding stimulus, increasing the frequency of that behavior. For example:
Positive reinforcement occurs when a behavior is followed by the presentation of a rewarding stimulus, increasing the frequency of that behavior. For example:
877
01:27Corrosion of Reinforcement
531
The corrosion of steel reinforcement within concrete is a process influenced by the material's inherent properties and external factors. The high pH level of around 13, provided by calcium hydroxide present in concrete, initially protects the steel reinforcement by promoting the formation of a passive iron oxide layer on its surface.
However, over time and under certain conditions like carbonation, chloride ingress, and cracking this protective state can be compromised. Steel has areas with...
However, over time and under certain conditions like carbonation, chloride ingress, and cracking this protective state can be compromised. Steel has areas with...
531
01:24Reinforcement Schedules
479
Positive reinforcement is a powerful method for teaching new behaviors to both animals and humans. B.F. Skinner demonstrated this with his experiments using rats in a Skinner box. When a rat pressed a lever, it received a food pellet. This immediate reward encouraged the rat to repeat the behavior. This method, where a reward follows every instance of the behavior, is known as continuous reinforcement. It is highly effective for establishing new behaviors quickly.
Once a behavior is learned,...
Once a behavior is learned,...
479
01:25Reinforcements in Concrete
456
Reinforced concrete is a composite material used extensively in construction, combining the compressive strength of concrete with the tensile strength of steel. This synergy is essential as concrete, while excellent at resisting compression, is weak under tension. Steel bars, or rebars, are embedded in the concrete to handle these tensile forces. The choice of steel is strategic; it shares a similar coefficient of thermal expansion with concrete, which ensures uniformity in response to...
456
02:11Leveling Effect and Non-Aqueous Acid-Base Solutions
9.4K
This lesson defines the leveling effect in acidic and basic solutions and its role in aqueous and non-aqueous solutions. It is essential to understand the competing nature of various species in a chemical system.
The Leveling Effect of a Solvent
A generic acid (HA) reacts with the generic base (B-) to yield the corresponding conjugate base (A-) and conjugate acid (HB):
The Leveling Effect of a Solvent
A generic acid (HA) reacts with the generic base (B-) to yield the corresponding conjugate base (A-) and conjugate acid (HB):
9.4K
02:04Conservation of Small Populations
16.7K
Small population sizes put a species at extreme risk of extinction due to a lack of variation, and a consequent decrease in adaptability. This weakens the chances of survival under pressures such as climate change, competition from other species, or new diseases. Large populations are more likely to survive pressures such as these, as such populations are more likely to harbor individuals that have genetic variants that are adaptive under new stresses. Small populations are much less...
16.7K