改进了黑暗体验重复和储库采样,以更好地平衡整合和可塑性

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 机器人技术 机器人技术 机器人技术

背景情况:

• 持续学习使工作人员能够在有限的资源下逐步获得新的技能.
• 黑暗经验重复 (DER) 缓解了灾难性遗忘,但需要仔细加权,并且可以由于过去的输出不一致而阻碍学习.
• 记忆巩固和可塑性之间的权衡是持续学习中的一个关键挑战.

研究的目的:

• 建议对DER和水库采样 (RS) 进行改进,以更好地进行持续学习.
• 解决DER的局限性,包括不适当的权重和阻碍从不一致的数据中学习.
• 为了在记忆巩固和可塑性之间实现更有效的平衡.

主要方法:

• 改进了DER策略:自动适应权重,阻止不一致的数据重复播放,以及过去输出校正.
• 增强的RS技术:通用接受概率,多个缓冲区分层和故意省略不一致的数据.
• 通过各种基准验证:回归,分类和强化学习.

主要成果:

• 提出的方法显示了学习表现的稳定改进.
• 实现了对记忆巩固和可塑性的有效平衡.
• 增强的DER和RS成功地减轻了灾难性的遗忘和提高了技能获取.

结论:

• 该研究成功地改善了DER和RS,以实现强大的持续学习.
• 拟议的改进提供了更好的方法来管理内存巩固/可塑性权衡.
• 这些进步有助于更有能力和适应能力的自主代理.