概括
人类的认知将信息整合到嵌套的时间尺度中,使用尺度不变的顺序先验. 基于这些先验的新循环神经网络 (SITH-RNN) 更快地学习,更好地概括,为大脑功能提供了洞察力.
科学领域:
- 计算神经科学是一种计算神经科学.
- 认知科学是一种认知科学.
- 深度学习是一种深度学习.
背景情况:
- 人类的认知整合了跨多个时间尺度的信息.
- 皮层层次结构具有临时受体窗口 (TRW),但局部电路显示不同的时间常数.
- 调和这些时间表对于理解大脑功能至关重要.
研究的目的:
- 开发和评估生物约束深度神经网络,以模拟跨嵌套时间尺度的信息整合.
- 调查规模不变先验在有效学习和概括中的作用.
- 探索这些先验如何与大脑对顺序信息的处理有关.
主要方法:
- 在语言分类任务上培训生物约束深度网络 (SITHCon和SITH-RNN).
- 模仿层次语言结构 (字母与单词).
- 与通用循环神经网络 (RNN) 进行性能比较.
主要成果:
- 时间接收窗口 (TRWs) 的层次结构在送模型 (SITHCon) 中自然出现.
- 规模不变的SITH-RNN学习速度明显快,参数比通用RNN少.
- SITH-RNN证明了零射击概括到分布之外的时间表.
结论:
- 规模不变的,连续的先验是大脑有效处理信息的基础.
- 包含这些先验的循环神经网络非常适合对人类认知进行建模.
- 这些发现为理解神经系统中的时间处理提供了一个计算框架.
