多巴胺作为基底质中载体值反信号的可行性

科学领域:

• 神经科学是一个神经科学.
• 计算神经科学是一种神经科学.
• 机器学习 机器学习

背景情况:

• 中脑多巴氨基神经元对于基底的强化学习 (RL) 至关重要,它们传递奖励预测错误 (RPE).
• 现有的模型主要解释RL对于离散的动作,但基底可能支持连续的输出.
• 调和连续输出与多巴胺介导的RL需要新的理论框架.

研究的目的:

• 提出和验证一个计算模型,其中多巴胺信号向量值错误反 (损失梯度) 而不是标量RPEs.
• 解释多巴胺如何支持在条形体中学习连续的实值输出.
• 证明一种与扩散多巴胺传播相容的新型可塑性规则.

主要方法:

• 开发了一种皮质干状物可塑性的计算模型,结合了三因素学习规则.
• 这一规则涉及到突触前射击速率,突触后因子和神经元特异性的多巴胺度.
• 模拟学习的多维实值输出使用这个矢量值的错误信号.

主要成果:

• 拟议的向量值错误信号显著提高了学习多维实值输出的能力.
• 三因素可塑性规则支持学习而不需要精确的突触连接.
• 该模型与随机变异体位和扩散多巴胺传播的实验发现保持一致.

结论:

• 多巴胺在RL中的作用可能超出了标量RPE的范围,以向量值的损失梯度,促进学习连续行动.
• 一个本地,三因素可塑性规则可以实现这种学习机制.
• 这一框架为基底腺功能和在运动和认知控制中的多巴胺信号提供了新的视角.