GPe暂停的电路机制可以解释自适应式勘探

科学领域:

• 神经科学是一个神经科学.
• 计算神经科学是一种神经科学.
• 强化学习是一种强化学习.

背景情况:

• 外部白色球体 (GPe) 传统上被视为基底质 (BG) 中的中继核.
• 新出现的证据表明,GPe在强化学习 (RL) 中发挥了更重要的作用.
• GPe活动包括高频放电 (HFD) 神经元的短暂暂停,在物种中保留,但在RL中不明.

研究的目的:

• 通过使用计算模型,研究RL内的GPe暂停的起源和功能.
• 探索GPe-亚体质核 (STN) 电路在学习过程中调节BG活动中的作用.

主要方法:

• 开发GPe-STN电路的神经生理学基础的计算模型.
• 实证观测的复制,包括暂停动态和与提示相关的活动.
• 模拟和体内记录以分析电路活动及其对行为的影响.

主要成果:

• 在GPe-STN电路的功能,作为一个denoising自编码器,调节BG电路的刺激性.
• GPe 暂停是由于 GPe-STN 途径中强烈的融合抑制引起的.
• 在环境变化后增加GPe-STN神经元活动,通过减少动作值对比,促进了适应性探索.

结论:

• 通过破坏动作值对比度,GPe暂停对于RL中的适应性探索至关重要.
• 随着训练,GPe-STN电路的作用会发生变化;减弱的预测可能有利于习惯性行为.
• 研究结果为理解GPe在平衡行为灵活性和RL熟练程度方面的功能提供了一个框架.