割引逆強化学習を用いた線形連続時間システムの出力フィードバック制御

科学分野:

• 制御システム工学
• 機械学習
• ロボット工学

背景:

• 割引逆強化学習（DIRL）は通常、完全な状態フィードバックを必要とし、入力-出力データのみを持つ実世界のアプリケーションでの使用を制限します。
• 部分的に観測可能な状態を持つ未知の連続時間（CT）システムは、重大な制御上の課題をもたらします。
• 最適な制御ポリシー導出のために未知の割引値関数を学習することが重要です。

研究 の 目的:

• 未知のCTシステムの線形二次（LQ）制御のための新しいモデルフリー、出力フィードバック（OPFB）DIRLアルゴリズムを開発すること。
• 入力-出力データからの学習を可能にすることにより、既存のDIRL法の限界に対処すること。
• ポリシー学習のために専門家の制御出力データを利用してシステム状態を再構成すること。

主な方法:

• 専門家の制御と測定された出力データを利用して状態再構成法を設計しました。
• 未知の値関数と最適な制御ポリシーを反復的に学習するために、モデルフリーのOPFB DIRLアルゴリズムを提示しました。
• アルゴリズムの収束と解の一意性の厳密な分析を実行しました。

主要な成果:

• 提案されたアルゴリズムは、専門家の制御ポリシーを効果的に回復します。
• シミュレーションは、最先端の方法と比較して優れた計算効率を示しています。
• アルゴリズムは、部分的に観測可能な状態と未知の値関数を正常に処理します。

結論:

• 新しいOPFB DIRLアルゴリズムは、限られた状態情報を持つ未知のCTシステムを制御するための効果的なソリューションを提供します。
• この方法は、入力-出力データのみを利用することにより、実際的なシナリオでのDIRLの適用性を高めます。
• アルゴリズムは、最適な制御ポリシーを学習するための計算効率が高く堅牢なアプローチを提供します。