在杂环境中研究转移学习:使用T迷宫研究空间学习中的前身和后继特征

科学领域:

• 人工智能的人工智能
• 计算神经科学是一种神经科学.
• 机器学习 机器学习

背景情况:

• 人工代理人经常面临杂的环境,挑战他们的学习和适应能力.
• 马尔科夫决策过程 (MDP) 是连续决策的基础,但它们的性能可能会随着环境的不确定性而下降.
• 继承特征 (SF) 和前身特征 (PF) 提供了学习表示和促进转移学习的先进方法.

研究的目的:

• 用SF和PF算法在杂的T迷宫中量化超参数调整对人工剂适应性的影响.
• 确定奖励学习率 (αr) 和资格跟踪衰减率 (λ) 的最佳设置,以提高代理的性能.
• 分析适应指标和超参数配置之间的关系.

主要方法:

• 使用马尔科夫决策过程 (MDP),继承特征 (SF) 和前身特征 (PF) 的代理人在一个杂的T迷宫中进行了测试.
• 通过改变奖励学习率 (αr) 和资格跟踪衰减率 (λ) 来进行超参数灵敏度分析.
• 通过诸如累积奖励,步骤长度,适应率和适应步骤长度等指标来评估适应,并使用斯皮尔曼相关性和线性回归进行分析.

主要成果:

• 奖励学习率 (αr) 为0.9,在0.05.5的噪音水平下,在所有测量指标上始终表现出优异的适应性.
• 发现最佳的适应性痕迹衰变率 (λ) 取决于环境,在不同的适应指标上有所不同.
• 在适应指标之间观察到显著的相关性,突显了绩效指标的相互联系.

结论:

• 超参数优化对于提高SF和PF等学习算法的性能和转移学习能力至关重要.
• 这项研究提供了对学习算法的有效配置的有价值的见解,用于涉及环境不确定性的任务.
• 这些发现有助于开发更强大,更适应的人工智能系统,适用于人工智能和神经科学研究.