ファクターベースの資産配分向け深層強化学習：静的および動的ベータ報酬設計の比較分析

科学分野:

• 計量金融
• 機械学習
• 計算経済学

背景:

• 従来の資産配分は、市場のボラティリティと構造的ブレークに対処するのに苦労しています。
• 深層強化学習（DRL）は、リスクと適応に不可欠なファクターエクスポージャーを見落としがちです。
• ファクターエクスポージャー（β）は、リスク調整後ペイオフと適応的投資応答に影響を与えます。

研究 の 目的:

• 資産配分向けのファクターベースの深層強化学習（FDRL）フレームワークを開発すること。
• DRLの状態表現と報酬設計にファクター感応度を組み込み、資産配分を改善すること。
• 多様な市場条件下での様々なファクターベースの報酬構造のパフォーマンスを評価すること。

主な方法:

• ローリング回帰を使用してファクター感応度（モメンタム、ボラティリティ、偏差、出来高）を推定するFDRLフレームワークを開発しました。
• PPO、SAC、TD3アルゴリズムを5つの報酬バリアント（シャープレシオ、ソルティノ、Static-β、Dynamic-β、Momentum-β）で実装しました。
• 株式、暗号通貨、マクロ経済商品、混合ポートフォリオ全体でフレームワークをテストし、広範なロバストネスチェックを実施しました。

主要な成果:

• ファクターベースの報酬は、資産クラスによって多様ではあるが解釈可能な結果をもたらしました。
• 株式では、Dynamic-βは年率リターンを23-24%、シャープレシオを1.27に増加させました。
• 暗号通貨は高いリターン（38-43%）を示しましたが、レジーム感受性がありました。
• マクロ経済商品はStatic-βの安定性から恩恵を受けました。
• 混合ポートフォリオはMomentum-βで優れていました。

結論:

• FDRLフレームワークは、ファクターエクスポージャーをDRLに統合することにより、資産配分への新しいアプローチを提供します。
• ファクターに敏感な報酬は、異質ではあるが価値のある結果を示し、パフォーマンスとリスク管理を改善します。
• このフレームワークは、適応的応答性と解釈可能性およびリスク規律を動的な投資戦略で調和させます。