状態到達可能性を組み込むことによる、強化学習におけるより効果的なスキル発見に向けて

科学分野:

• 人工知能
• 機械学習
• ロボット工学

背景:

• 強化学習（RL）におけるスキル発見は、タスク適応のための多様な行動を作成することを目指しています。
• 現在の方法では状態到達可能性が欠けていることが多く、複雑な環境での適応が制限されています。

研究 の 目的:

• 状態到達可能性をスキル学習に統合する新しいフレームワーク（SDSR）を提案すること。
• 包括的な状態カバレッジを保証することにより、下流タスクに適応する強化学習エージェントの能力を強化すること。

主な方法:

• アクセス可能な状態空間を拡張するために、スキル条件付き逆動力学モデルを組み込んだSDSRを開発しました。
• スキル多様性と到達可能性を共同で最適化するためのメタポリシー最適化メカニズムを導入しました。
• 異なる環境次元に対して、閾値ベースの選択と共同トレーニングを通じてSDSRを実装しました。

主要な成果:

• SDSRはスキル多様性と探索効率を大幅に向上させます。
• このフレームワークは、2Dおよびロボット環境の両方で下流タスクへの適応を加速します。
• 構造化されたスキル多様性を維持しながら、アクセス可能な状態空間の拡大を実証しました。

結論:

• SDSRは、複雑な意思決定におけるRLの堅牢で一般化可能な基盤を提供します。
• 状態到達可能性を明示的に統合することで、既存のスキル発見方法の限界を克服します。
• 提案された方法は、多様で挑戦的な環境におけるRLエージェントのパフォーマンスを向上させます。