相关实验视频
Updated: Jun 12, 2026

13:19
Deep Neural Networks for Image-Based Dietary Assessment
Published on: March 13, 2021
9.0K
使用渐进梯度下降进行反向传播的硬件实现,用于在现场训练多层神经网络
Eveline R W van Doremaele1,2, Tim Stevens1,2, Stijn Ringeling3
1Department of Mechanical Engineering and Institute for Complex Molecular Systems, Eindhoven University of Technology, Eindhoven 5612AP, Netherlands.
Science advances
|July 12, 2024
概括
这项研究引入了一种新的硬件方法,用于高效的神经网络训练,克服传统反向传播的存储限制. 该方法通过在现场逐步更新网络层来实现更快,更可扩展的人工智能.
科学领域:
- 人工智能的人工智能
- 神经形态工程的神经形态工程
- 计算机科学 计算机科学
背景情况:
- 由于数据传输瓶,神经网络训练是计算密集的,耗费能源的.
- 神经形态系统通过内存计算提供了潜在的加速,但反向传播的实施仍然具有挑战性.
- 现有的方法需要大量存储衍生信息,阻碍硬件可扩展性.
研究的目的:
- 为多层神经网络提出并演示一个硬件高效的反向传播算法.
- 为了克服与传统反向传播中计算部分衍生品相关的储存限制.
- 在神经形态硬件上实现先进的人工智能系统的可扩展和高效训练.
主要方法:
- 开发了一个渐进式反向传播算法的硬件实现.
- 使用现场随机梯度下降来进行层次重量更新.
- 在多层硬件实现的神经网络中实验验证了该方法.
主要成果:
- 成功证明了现场错误计算和渐进的反向传播.
- 与基于软件的反向传播相比,实现了相同的学习特征和分类性能.
- 证实了针对大而深层神经网络的拟议方法的可扩展性.
结论:
- 拟议的现场渐进反向传播方法有效地解决了硬件实现的挑战.
- 这种方法使人工智能计算系统的高效训练成为可能.
- 该技术为更具可扩展性和节能的神经形态硬件铺平了道路.

