高次元離散行動空間におけるオフライン強化学習のための最も過大評価されたQ値正則化

科学分野:

• ロボット工学
• 人工知能
• 機械学習

背景:

• 深層強化学習（DRL）はロボット操作に不可欠ですが、データ収集コストとリスクによって妨げられています。
• オフライン強化学習（RL）は既存のデータでトレーニングしますが、高次元離散行動空間でのQ値の過大評価に苦しみ、安定性に影響を与えます。
• 分布外（OOD）アクションはこれらの空間で急速に増加し、Q値の過大評価を悪化させます。

研究 の 目的:

• Q値の過大評価を軽減するように設計された新しいオフラインRLアルゴリズム、Most Overestimated Q value Regularization（MQR）を導入すること。
• ロボット操作のための高次元離散行動空間におけるトレーニングの安定性を向上させ、ポリシー収束エラーを防ぐこと。
• さまざまな環境条件での挑戦的なロボットタスクにおけるMQRの有効性を検証すること。

主な方法:

• 最も過大評価されたQ値を持つアクションを特に罰するオフラインRLアルゴリズムであるMQRを開発しました。
• 既存の方法における一様なペナルティとは異なる、ターゲットを絞った正則化戦略を実装しました。
• さまざまなオブジェクト配置を持つシミュレーションおよび実世界のロボットプッシュおよび把持タスクでMQRを評価しました。

主要な成果:

• MQRは、ロボット操作タスクにおいてベースラインアルゴリズムを大幅に上回りました。
• シミュレーションで96.94％、実世界で99.04％のクリアランス率を達成しました。
• 高いアクション効率とトレーニングの安定性を示し、MQRの堅牢性とスケーラビリティを強調しました。

結論:

• MQRは、オフラインRLのための高次元離散行動空間におけるQ値の過大評価を効果的に軽減します。
• このアルゴリズムは、実世界のロボット操作において強力なパフォーマンス、堅牢性、および適応性を示します。
• MQRは、産業用ロボットアプリケーションでの展開に大きな可能性を秘めています。