利用神经网络的灵活性来预测人类选择行为背后的动态理论参数

科学领域:

• 计算神经科学是一种神经科学.
• 认知科学 认知科学
• 机器学习 机器学习

背景情况:

• 强化学习 (RL) 模型被广泛用于研究人类行为,优先考虑解释性而不是预测准确性.
• 神经网络模型具有很高的预测能力,但往往缺乏可解释性,限制了它们在理论行为分析中的使用.

研究的目的:

• 将神经网络的灵活性和预测能力与理论RL模型的表达力相结合.
• 引入一个新的框架,理论-RNN (t-RNN),用于增强行为预测和动态RL参数推断.

主要方法:

• 开发了一个理论-RNN (t-RNN) 框架,使用由RL代理人人工数据训练的循环神经网络.
• 该t-RNN模型被训练来预测试验一试验的行为,并推断随时间变化的理论RL参数.
• 使用合成数据验证了t-RNN方法,并将其应用于两个独立的人类行为数据集.

主要成果:

• t-RNN框架成功预测了未见的行为,并在研究中动态估计了RL参数.
• 应用于人类数据,t-RNN揭示了精神病患者和健康人群之间的RL参数的动态差异.
• 证明人类探索策略根据任务阶段和难度有动态变化,正如t-RNN所捕获的那样.
• 在动作预测准确度方面,t-RNN始终优于静止最大概率RL方法.

结论:

• 理论-RNN (t-RNN) 框架有效地将神经网络灵活性与RL理论相结合,以改进行为建模.
• 这种方法有助于估计潜在的RL参数,这些参数是复杂选择行为的基础.
• 神经网络为推进认知和计算神经科学中的理论RL建模提供了一个强大的工具.