部分観測を伴う有限ホライゾンH∞追跡のためのQ学習アプローチ

科学分野:

• 制御理論
• 強化学習
• ゲーム理論

背景:

• 既存の強化学習（RL）手法は、多くの場合、完全な状態情報を必要とし、無限ホライゾン、時間不変システムに限定されます。
• 部分観測と未知のダイナミクスを持つ有限ホライゾン制御は、時間変化リッカチ方程式の必要性を含む重大な課題を提示します。
• モデルフリーアプローチは、ダイナミクスが未知のシステムで望ましく、入出力データのみに依存します。

研究 の 目的:

• 部分観測と未知のダイナミクスを持つ離散時間線形システムに対する有限ホライゾンH∞追跡制御問題を調査すること。
• 既存のアプローチの限界、特に状態情報とシステムホライゾンに関する限界を克服するモデルフリー強化学習アルゴリズムを開発すること。
• 初期許容ポリシーまたは割引係数を必要とせずに、時間変化制御問題のフレームワークを提供すること。

主な方法:

• データ駆動型システム表現を作成するために、過去の入出力軌道からシステム状態を再構築すること。
• 入出力データに基づいた時間変化Q関数の定義。
• モデルフリー、データ駆動型制御のために設計された2つのミニマックスQ学習アルゴリズムの提案。

主要な成果:

• 開発されたアルゴリズムは、システム状態を正常に再構築し、入出力ベースのQ関数を定義します。
• ミニマックスQ学習アルゴリズムは、初期許容ポリシーを必要とせず、割引係数を回避するため、安定性保証が向上します。
• このフレームワークは、構造変更なしで無限ホライゾンおよび時間変化システムに拡張可能であることを示しています。

結論:

• 提案されたデータ駆動型、モデルフリー強化学習アルゴリズムは、部分観測を伴う離散時間システムの有限ホライゾンH∞追跡制御問題を効果的に解決します。
• 理論的収束が証明され、シミュレーション結果がアルゴリズムの有効性を検証します。
• この研究は、特に未知のダイナミクスと部分状態情報を持つシステムにおいて、制御のための強化学習における重要な進歩を提供します。