部分観測下での頑健な連続制御のための軽量深層強化学習戦略：複数ステップの導入

科学分野:

• ロボット工学および人工知能
• 機械学習および制御理論

背景:

• 深層強化学習（DRL）は、完全に観測可能なマルコフ決定過程（MDP）で優れた性能を発揮する。
• 部分観測マルコフ決定過程（POMDP）では、不完全な状態情報のために性能のダイナミクスが変化する。
• 既存のDRLベンチマークはMDPに焦点を当てることが多く、POMDPの性能はあまり理解されていない。

研究 の 目的:

• 連続制御タスクのPOMDPバリアントでPPO、TD3、SACアルゴリズムを経験的に比較すること。
• 主要なDRLアルゴリズムの相対的な性能に対する部分観測の影響を調査すること。
• POMDP設定における頑健性を向上させるアルゴリズムの適応を特定すること。

主な方法:

• プロキシマル方策最適化（PPO）、ツイン遅延型深層決定方策勾配（TD3）、およびソフトアクタークリティック（SAC）の比較分析。
• 標準的な連続制御ベンチマークの代表的なPOMDP定式化での評価。
• PPOへの複数ステップブートストラップおよびTD3（MTD3）およびSAC（MSAC）への複数ステップターゲットの導入。

主要な成果:

• PPOは、部分観測下で、通常のMDPの結果とは対照的に、優れた頑健性と性能を示した。
• TD3およびSACは、MDPの対応物と比較して、POMDPにおいて性能が低下した。
• 複数ステップターゲットを持つ修正TD3（MTD3）およびSAC（MSAC）は、POMDPにおいて改善された頑健性を示した。

結論:

• 部分観測はDRLアルゴリズムの性能に大きく影響し、通常のランキングを逆転させる。
• PPOの固有の複数ステップブートストラップは、POMDPにおいて安定化の利点を提供する。
• 複数ステップターゲットを持つTD3およびSACのようなアルゴリズムの適応は、部分観測環境におけるそれらの頑健性を向上させるための実用的な方法を提供する。