相关实验视频
Updated: Jun 27, 2025

13:19
Deep Neural Networks for Image-Based Dietary Assessment
Published on: March 13, 2021
9.1K
生物神经网络中的学习是基于随机梯度下降的吗? 使用随机过程进行分析
Sören Christensen1, Jan Kallsen2
1Department of Mathematics, Kiel Universiy, 24118 Kiel, Germany christensen@math.uni-kiel.de.
Neural computation
|April 26, 2024
概括
在生物神经网络 (BNNs) 中的学习可能使用随机梯度下降. 我们的研究表明,在学习机会期间,许多本地更新都接近梯度步骤,这表明BNN可能会像人工神经网络一样优化.
科学领域:
- 计算神经科学是一种神经科学.
- 机器学习理论机器学习理论
背景情况:
- 神经科学和人工智能的一个关键辩论是,生物神经网络 (BNNs) 是否仅使用局部信息来学习,排除基于梯度的优化.
- 人工神经网络 (ANN) 通常使用随机梯度下降 (SGD) 进行高效的学习.
研究的目的:
- 在BNN中研究基于梯度的学习的理论可能性.
- 分析BNN中监督学习的随机模型.
主要方法:
- 在BNN中开发监督学习的随机模型.
- 数学分析局部更新接近连续梯度步骤的条件.
主要成果:
- 证明当许多本地更新处理每个学习机会时,一个连续梯度步骤是近似的.
- 在BNN中确定基于梯度的优化潜在机制.
结论:
- 这些发现表明,随机梯度下降确实可能在优化生物神经网络中发挥作用.
- 这弥合了理论上的反对论点和潜在的生物合理性之间的差距,在大脑中基于梯度的学习.

