連続時間非線形システムのためのデータ駆動型逆最適制御

科学分野:

• 制御理論
• 機械学習
• ロボット工学

背景:

• コスト関数の推定は、自律システムにおける専門家の行動を理解し、複製するために重要です。
• 既存の逆強化学習法は、多くの場合、システムモデルを必要としたり、高い計算コストがかかったりします。

研究 の 目的:

• 逆最適制御のための新しいモデルフリーおよび部分的にモデルフリーのアルゴリズムを導入すること。
• 専門家の軌道を使用して、連続時間非線形決定論的システムのコスト関数を推定すること。

主な方法:

• アルゴリズムは、専門家の入力状態軌道を利用します。
• パラメータ推定のために、制御方策情報とハミルトン・ヤコビ・ベルマン方程式を別々に使用します。
• モデルフリーバージョンでは、初期化のために1回の前方最適制御問題の解が必要です。

主要な成果:

• 提案されたアルゴリズムは、連続時間非線形決定論的システムのコスト関数パラメータを効果的に推定します。
• モデルフリーアプローチは、既存の方法と比較して計算の複雑さを低減します。
• 部分的にモデルフリーのバージョンは、入力ダイナミクスが既知のシステムに対してさらなる効率を提供します。

結論:

• 開発されたアルゴリズムは、逆強化学習のための広く適用可能で計算効率の良いソリューションを提供します。
• その有効性はシミュレーションによって検証されており、自律システムとロボット工学における実世界のアプリケーションの可能性を示唆しています。