在目标上双重XCSF?

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 强化学习是一种强化学习.

背景情况:

• 一个著名的学习分类系统 (LCS) XCS分类系统 (XCS) 最初专注于强化学习 (RL).
• 最近的研究已经探索了像XCSF这样的XCS变体,但除了体验重复之外的Q学习进步很少被整合进来.
• 需要通过结合现代Q学习衍生品来增强XCS的RL能力.

研究的目的:

• 研究将深度强化学习 (DRL) 机制集成到XCS分类系统 (XCSF) 中,以提高RL性能.
• 通过引入目标预测和双重Q学习机制来解决XCSF中的学习稳定性和高估问题.
• 评估这些扩展在基准RL问题上的有效性.

主要方法:

• 实施了三种受Q学习衍生品启发的扩展:DQN启发的目标预测,双DQN启发的双目标预测和双Q学习机制.
• 将这些扩展应用到迷宫问题,冰湖和车环境中.
• 与基线XCSF相比,评估了性能改进和差异减少.

主要成果:

• 双重Q学习机制没有产生显著的改进.
• 目标预测和双目标预测显示了XCSF的可观察的性能提升和差异减少.
• 结果表明,调整DRL机制对XCSF可能是有益的,尽管改进不是微不足道的.

结论:

• 从DRL集成目标预测和双目标预测显示了提高RL任务XCSF性能和稳定的潜力.
• 然而,在这种情况下,双重Q学习机制并未被证明有效.
• 对像XCSF这样的LCS的DLR适应进行进一步的研究是有必要的,以释放它们的RL潜力.