通过强化学习和分布式观察者的多人图形游戏中纳什平衡

科学领域:

• 游戏理论 游戏理论
• 强化学习是一种强化学习.
• 控制系统 控制系统

背景情况:

• 现有的多人游戏理论研究通常假定完全连接的网络.
• 多人图形游戏为大型系统提供了更实用,更稀疏的通信拓.
• 外部系统影响在计算平衡策略方面带来了挑战.

研究的目的:

• 在受外部系统影响的多人图形游戏中计算纳什平衡 (NE) 策略.
• 开发一个分布式适应观察器来估计未知的外部系统状态.
• 确保系统稳定,提高NE战略的融合速度.

主要方法:

• 使用强化学习 (RL) 方法.
• 提出一个分布式适应观测器来估计外部系统状态,证明了观测错误的非对称收.
• 导出用于系统稳定的折扣因子范围.
• 开发一个与观察者集成的政策之外的算法,用于政策评估.
• 实施分布式政策改进机制,以实现更快的融合.

主要成果:

• 分布的自适应观察者实现了零的非对称观测误差.
• 特定的折扣因子范围被确定以保持系统稳定性.
• 综合的政策外算法和分布式政策改进机制确保了政策对新能源的趋同.
• 提出的方法在整个过程中保持了系统稳定性.
• 在电压同步系统上的模拟验证了算法的有效性.

结论:

• 提出的基于RL的方法有效地计算了多人图形游戏中的纳什平衡策略,这些游戏具有外部影响.
• 分布式自适应观察员和政策改进机制的整合提高了准确性和融合速度.
• 该方法保证了系统的稳定性,使其适用于实际的大规模应用.