不確実な非線形システムの単純化された強化学習を用いた最適な追跡制御

科学分野:

• 制御システム工学
• 人工知能
• 非線形ダイナミクス

背景:

• 高階の不確実な非線形システムの最適な追跡制御は、計算負荷が高いです。
• 既存の強化学習（RL）方法は、多数のニューラルネットワーク（NN）と複雑な再帰的設計を必要とすることがよくあります。
• 単純化されたRLにおける重要な問題は、消滅固有値による無効なリアプノフ安定性解析の可能性です。

研究 の 目的:

• 高階の不確実な非線形システムのための最小ニューラルネットワーク（NN）を使用した単純化された強化学習（RL）フレームワークを開発すること。
• 既存のRLベースの制御戦略の計算の複雑さと理論的な限界を克服すること。
• 永続励起（PE）条件に依存せずに、厳密な安定性保証を確保すること。

主な方法:

• 高階完全駆動（HOFA）システム理論を活用して、システムダイナミクスをコンパクトな正規形に再定式化しました。
• システムの次数に関係なく、3つのニューラルネットワーク（NN）のみを使用する、統一された非再帰的なコントローラー設計を開発しました。
• 相関行列の問題を回避し、安定性解析の妥当性を確保するために、新しいクリティック・アクターの重み更新則を導入しました。

主要な成果:

• 提案手法は、システムの次数に関係なく固定数のニューラルネットワーク（3つ）を使用することで、計算の複雑さを大幅に削減します。