複雑なクラウドエッジエンドシナリオにおける生成敵対的模倣学習によるDT支援リソース割り当て

科学分野:

• コンピュータサイエンス
• 人工知能
• 分散コンピューティング

背景:

• クラウドエッジエンドコンピューティングリソース割り当てのための従来の深層強化学習（DRL）は、既知のパラメータとリアルタイム報酬に大きく依存しています。
• この依存関係は、動的な意思決定を必要とする複雑なシナリオにおいて課題をもたらします。
• 既存の方法は、事前知識またはフィードバックが限られている場合の効果的なサービス提供に苦労しています。

研究 の 目的:

• クラウドエッジエンドシステムにおける共同マルチリソース割り当てのための新しいエキスパート主導の生成敵対的模倣学習（E-GAIL）モデルを提案すること。
• 事前状態知識またはリアルタイム報酬フィードバックを必要とせずに効率的なリソース割り当てを可能にすること。
• 複雑で動的なコンピューティング環境における従来のDRLの限界に対処すること。

主な方法:

• リソース割り当てのための模倣学習を活用するDT支援E-GAILモデルを開発しました。
• DTネットワークの履歴データを使用して、アクタークリティックとノイズネットを利用した単一エキスパート軌道生成アルゴリズムを導入しました。
• ナッシュ均衡を利用して競合を解決し、最適なソリューションを見つけるために、複数の単一エキスパート軌道をマルチエキスパート軌道に融合しました。
• マルチエキスパート軌道に一致するように、勾配を介してE-GAILジェネレータとディスクリミネータのパラメータを更新しました。

主要な成果:

• E-GAILエージェントは、事前知識やリアルタイム報酬に依存せずに、タスクアップロード時に迅速にリソース割り当てポリシーを取得します。
• 実験結果は、E-GAILが大規模でノイズの多い環境で最適なエキスパート軌道を達成する能力を実証しています。
• 提案されたモデルは、複数の制約付きリソースの共同割り当てを効果的に処理します。

結論:

• DT支援E-GAILモデルは、特に複雑でデータが不足しているシナリオにおいて、クラウドエッジエンドコンピューティングにおけるリソース割り当てのための堅牢なソリューションを提供します。
• E-GAILは、模倣学習とマルチエキスパート融合を利用することで、従来のDRLの限界を克服します。
• このアプローチは、動的で大規模なコンピューティング環境における意思決定の速度と精度を向上させます。