快速而强大的模拟内存深度神经网络训练
Malte J Rasch1,2, Fabio Carta3, Omobayode Fagbohungbe3
1IBM Research, TJ Watson Research Center, Yorktown Heights, NY, USA. malte.rasch@gmail.com.
Nature communications
|August 20, 2024
概括
这项研究引入了改进的模拟内存训练算法,用于深度学习,克服精度限制,并使得神经网络在没有辅助数字计算的情况下能够更快,更强大的神经网络训练.
科学领域:
- 计算机科学 计算机科学
- 电气工程 电气工程
- 材料科学 材料科学 材料科学
背景情况:
- 模拟内存计算为深度学习网络提供了高效的加速.
- 加快推理阶段的研究是很好的,但更计算密集型的训练阶段的探索较少.
- 现有的模拟内存训练算法面临着诸如大量数字计算开销或对零点的严格编程要求等局限性.
研究的目的:
- 为模拟内存训练提出新的算法,解决现有方法的局限性.
- 为了实现内存训练的快速运行时间复杂性,而不需要精确的算法零点.
- 调查设备非理想性对算法性能的影响.
主要方法:
- 开发两种用于模拟内存训练的新算法.
- 在各种设备非理想性下分析算法性能,包括导电噪声,对称性,保留和耐久性.
- 与现有的方法进行比较,以突出提高速度和精度要求.
主要成果:
- 拟议的算法保持快速运行时间复杂性用于内存训练.
- 这些算法成功地解决了对参考导电性值精确编程的需求,以建立算法零点.
- 调查确定了强大的内存深度神经网络训练所必需的关键设备材料特性.
结论:
- 开发的算法代表了模拟内存深度学习培训的重大进步.
- 这些算法减少了对辅助数字计算和精确编程的依赖,提高了效率.
- 了解设备的局限性对于选择适当的材料来进行有效和可靠的内存训练硬件至关重要.
