在RNN受过激发-抑制约束训练的自身值和动态光谱中的效应
Cecilia Jarne1,2,3, Mariano Caruso4,5
1Departmento de Ciencia y Tecnología, Universidad Nacional de Quilmes, Bernal, Argentina.
研究人员开发了一个新的框架来训练循环神经网络与戴尔定律,一个关键的大脑特征. 这种方法揭示了训练网络中的特定固有值分布,影响了它们的动态.
科学领域:
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
- 神经网络动态 神经网络动态
背景情况:
- 了解大脑区域动态对于增强计算模型至关重要.
- 将戴尔定律纳入经常性神经网络提出了重大挑战,但提高了生物现实性.
- 戴尔定律对于旨在准确表示大脑特征的计算模型至关重要.
研究的目的:
- 介绍一种用于训练循环神经网络 (RNN) 的新框架,其中包含了戴尔定律.
- 应用这个框架来培训RNN进行简单的决策任务.
- 分析戴尔定律对RNN的动态和固有值分布的影响.
主要方法:
- 开发了一个框架来训练RNNs与戴尔的法律的约束.
- 在简单的决策任务上培训网络.
- 描述了反复重量矩阵的固有值分布.
主要成果:
- 发现反复重量矩阵的非主导固有值在随机正常初始条件下分布在一个圆 (半径<1) 中,在随机直角初始条件下分布在一个环中.
- 观察到的半径独立于激发/抑制单元分数和网络大小.
- 与没有戴尔定律训练的网络相比,半径减少.
结论:
- 开发的框架成功地通过戴尔定律训练RNN.
- 固有值分布模式为网络动态提供了洞察力.
- 自值半径的缩小对神经活动和网络动态有重大影响.
更多相关视频
10:44Inherent Dynamics Visualizer, an Interactive Application for Evaluating and Visualizing Outputs from a Gene Regulatory Network Inference Pipeline
Published on: December 7, 2021
10:19Induction of an Isoelectric Brain State to Investigate the Impact of Endogenous Synaptic Activity on Neuronal Excitability In Vivo
Published on: March 31, 2016
相关概念视频
¹H NMR: Interpreting Distorted and Overlapping Signals
As Δν decreases and the signals move closer, the doublets appear increasingly distorted. The intensities of the inner lines increase at the cost of those of the outer lines as the signals are...
IR Spectrum Peak Splitting: Symmetric vs Asymmetric Vibrations
NMR Spectroscopy: Spin–Spin Coupling
NMR Spectrometers: Resolution and Error Correction
Nuclear Overhauser Enhancement (NOE)
Excitatory and Inhibitory Effects of Neurotransmitters
