在线强化学习控制设计与加速机制的未知多代理系统通过价值代的加速机制

科学领域:

• 控制系统工程 控制系统工程
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 多代理系统 (MAS) 存在复杂的控制挑战,特别是当系统动态未知时.
• 最佳的合作控制对于MAS的协调行为至关重要.
• 在不断变化的控制政策下,现有的方法往往难以保证稳定性.

研究的目的:

• 为未知的线性离散时间多代理系统 (MAS) 开发在线强化学习 (RL) 控制方法.
• 确保MAS的稳定性,即使在学习过程中产生不成熟的政策.
• 为了加快价值代 (VI) 算法的收率.

主要方法:

• 设计了一个具有不断变化的政策的在线学习计划,其中包含了一个事件触发机制来过可接受的控制政策.
• 开发了一个稳定性标准,以保证系统的稳定性,而不需要单调的值函数序列.
• 引入了VI的加速机制,分析了放松因子对收速度的影响.
• 逆向传播 (BP) 神经网络 (NN) 被用于实际实施.

主要成果:

• 提出的方法成功地解决了未知线性离散时间MAS的最佳合作控制问题.
• 事件触发稳定性标准有效过政策,确保系统稳定性.
• 加速机制显著提高了VI算法的收率.
• 模拟结果验证了开发的控制方法的有效性和性能.

结论:

• 开发的在线RL控制方法为在未知的MAS中进行合作控制提供了强大的解决方案.
• 事件触发机制和加速技术的整合提供了更好的稳定性和效率.
• 使用BP神经网络证明了拟议方法的实际可用性.