在一维和二维环境中,继任者和前身特征算法的噪声弹性

科学领域:

• 计算神经科学是一种神经科学.
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 噪音输入在现实应用中对强化学习 (RL) 代理构成重大挑战.
• 动物在动态环境中表现出强大的空间学习,但在RL中,潜在的机制尚未得到研究.
• 了解噪声弹性对于开发实用的AI系统至关重要.

研究的目的:

• 在受控噪声下比较分析前身特征 (PF) 和后继特征 (SF) 算法.
• 调查噪声对1D和2D环境中的RL剂性能的影响.
• 确定在人工学习系统中增强抗噪机制.

主要方法:

• 对SF和PF算法的比较分析与传统的Q学习.
• 在1D和2D导航环境中对噪声 (σ) 的控制引入.
• 在不同噪音水平下评估累积奖励和绩效指标.

主要成果:

• SF算法在噪声弹性方面明显优于Q学习,实现了高累积奖励 (2216.88±3.83在1D中的s=0.5).
• 在2D环境中观察到噪声水平和性能之间的非线性关系,在中等噪声 (σ=0.25) 中SF是最佳的.
• 在PF学习中,λ参数对绩效产生影响,λ=0.7显示出一致的优势.

结论:

• SF算法为强化学习代理提供了卓越的噪音弹性.
• 研究结果为在机器人和自主导航等不确定的环境中开发强大的AI提供了洞察力.
• 这项工作将计算神经科学和RL联系起来,推进耐噪声学习系统.