适应和学习作为在神经反任务中最大化奖励的策略
Rodrigo Osuna-Orozco1, Yi Zhao1, Hannah Marie Stealey1
1Department of Biomedical Engineering, University of Texas at Austin, Austin, TX, United States.
Frontiers in human neuroscience
|April 9, 2024
概括
非人类灵长类动物适应神经活动在一个稳定的多元体内,以补偿运动干扰,不像强化学习剂,需要广泛的再培训. 这突出了精确的神经适应在广泛的学习.
科学领域:
- 神经科学是一个神经科学.
- 计算神经科学是一种神经科学.
- 机器人技术 机器人技术 机器人技术
背景情况:
- 获得运动技能包括适应和学习如何在不断变化的环境中导航.
- 在以目标为导向的运动任务中区分适应与学习的贡献是具有挑战性的.
- 连续视觉反和旋转扰动被用来探测神经动力学.
研究的目的:
- 为了研究神经动力学,底层的运动适应扰动.
- 将非人类灵长类动物 (NHPs) 的神经适应与强化学习 (RL) 剂进行比较.
- 了解神经元组是如何在运动控制和适应过程中被利用的.
主要方法:
- 通过NHPs进行了持续视觉反的中心到达任务.
- 一个强化学习代理执行了一个类似的任务.
- 主要组件分析 (PCA) 分析了神经尖端活动和RL代理网络激活.
主要成果:
- 无论是NHPs还是RL代理,都表现出与任务相关的神经元组.
- NHP神经多元体在很大程度上保持不变,在多元体内发生适应.
- 在重新训练以弥补干扰后,RL剂显示出显著的多元组修改.
结论:
- NHPs适应现有的神经动态,精确地抵消干扰,最大限度地减少了广泛学习的需要.
- 在NHP中神经适应涉及在稳定的分流体内重新分配,而不是批发变化.
- 这与RL剂形成鲜明对比,表明运动控制适应的机制不同.
