深層強化学習における高速価値追跡

科学分野:

• 人工知能
• 機械学習
• 制御理論

背景:

• 強化学習（RL）エージェントは、逐次的意思決定のために環境と相互作用する。
• 現在のRLアルゴリズムは、環境の確率性と不確実性定量化を見落としがちである。
• 静的モデルは、動的な相互作用を無視して、点推定に焦点を当てている。

研究 の 目的:

• 深層強化学習のための新しいスケーラブルなサンプリングアルゴリズムを導入する。
• 不確実性定量化に関する既存のRL手法の限界に対処する。
• RLトレーニング中に不確実性を定量化および監視する方法を開発する。

主な方法:

• カルマンフィルタリングパラダイムを活用する。
• Langevin化カルマン時間差（LKTD）アルゴリズムを導入する。
• ニューラルネットワークパラメータの事後サンプリングのために確率的勾配マルコフ連鎖モンテカルロ法（SGMCMC）を利用する。

主要な成果:

• 穏当な条件下でLKTD事後サンプルが定常分布に収束することを証明する。
• 価値関数とモデルパラメータの不確実性の定量化を可能にする。
• 深層強化学習におけるポリシー更新中に不確実性を監視することを可能にする。

結論:

• LKTDアルゴリズムは、RLにおける不確実性定量化のための堅牢なアプローチを提供する。
• LKTDは、より適応性があり信頼性の高い強化学習システムを促進する。
• この方法は、エージェントと環境の相互作用における不確実性の理解と管理を強化する。