在神经连接限制下赢得彩票:在空间受限制的RNNs中,在认知任务中快速学习

科学领域:

• 计算神经科学是一种计算神经科学.
• 人工智能的人工智能是人工智能.
• 认知科学是一种认知科学.

背景情况:

• 循环神经网络 (RNN) 模拟大脑电路,但在结构上与稀疏的生物网络不同.
• 生物神经连接,就像新皮质一样,由于物理约束,非常稀疏.

研究的目的:

• 用预先确定的稀疏图引入局部掩盖RNN (LM-RNN).
• 在认知任务上评估LM-RNN,以评估它们诱导复杂动态和模块化结构的能力.
• 开发一个更具挑战性的认知多任务电池 (Mod-Cog) 来测试神经网络架构.

主要方法:

• 实施的LM-RNN具有不同的稀疏度水平.
• 使用了20-Cog任务和新开发的Mod-Cog电池进行评估.
• 将LM-RNN性能与完全连接的RNN进行比较.

主要成果:

• 20Cog任务可以通过简单的网络来解决,这表明它们不需要复杂的反复动态.
• 随着任务复杂度的增加,Mod-Cog电池需要更丰富的神经架构和连续的吸引力动态.
• 与完全连接的网络相比,具有最佳稀疏性的LM-RNN显示了更快的训练和更好的数据效率.

结论:

• LM-RNNs提供了一个更具生物学可信性和高效的方法来建模神经计算.
• Mod-Cog电池作为一个更严格的基准来评估复杂的神经网络动态.
• 稀疏,局部受限制的RNN对于复杂的认知任务具有优势,优于密集的网络.