一个精确和耐故障的模拟神经网络的蓝图
Cansu Demirkiran1, Lakshmi Nair2, Darius Bunandar2
1Boston University, Boston, MA, USA. cansu@bu.edu.
Nature communications
|June 14, 2024
概括
本研究介绍了用于模拟计算的残余数字系统 (RNS) 方法,以加速深度神经网络 (DNN). 通过使用低精度元件,RNS可实现高精度DNN,提高能源效率和故障耐受性.
科学领域:
- 计算机工程 计算机工程
- 人工智能的人工智能
- 硬件加速器 硬件加速器
背景情况:
- 模拟计算为加速深度神经网络 (DNN) 提供了潜力.
- 高精度数据转换器是模拟DNN硬件面临的重大挑战.
- 传统的数字架构面临DNN的可扩展性问题.
研究的目的:
- 为了克服高精度数据转换器在模拟DNN硬件中的局限性.
- 提高深度神经网络推断和训练的能源效率和可扩展性.
- 为模拟硬件开发一个容错的计算方法.
主要方法:
- 使用剩余数系统 (RNS) 将高精度操作分解为低精度操作.
- 实现DNN推断和训练,使用缩小位宽算法 (推断为6位,训练为7位).
- 开发一个冗余的RNS数据流,以应对模拟噪声和错误.
主要成果:
- 通过使用6位RNS算法实现了DNN推断的≥99%FP32准确性.
- 通过使用7位RNS算法实现了DNN训练的≥99%FP32准确性.
- 与传统模拟硬件相比,已经证明了数量级更高的能源效率的潜力.
结论:
- 基于RNS的方法有效地消除了对模拟DNN高精度数据转换器的需求.
- 通过RNS降低精度要求可以显著提高能源效率,同时保持吞吐量.
- 拟议的容错数据流确保在杂的模拟环境中可靠的计算.
