对高性能尖端神经网络的人工神经网络架构进行基准测试
Riadul Islam1, Patrick Majurski1, Jun Kwon1
1Department of Computer Science and Electrical Engineering, University of Maryland, Baltimore County, Baltimore, MD 21250, USA.
Sensors (Basel, Switzerland)
|February 24, 2024
概括
灵感来自大脑的计算,特别是神经网络 (SNN),为高性能计算提供了能源效率. 本研究介绍了一种自动化工具,用于将神经网络 (NN) 转换为SNN,优化硬件配置并降低能源消耗.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 神经科学是一个神经科学.
背景情况:
- 高性能计算面临着能源消耗和处理器速度限制等挑战.
- 尖端神经网络 (SNN) 提供了电力效率的潜力,但面临着实施障碍.
- 现有的方法缺乏自动化工具和高效的算法,用于在上大规模部署SNN.
研究的目的:
- 开发一种自动化工具流,用于将任何神经网络 (NN) 转换为尖端神经网络 (SNN).
- 引入一种新的图形分区算法,以便在芯片上的网络 (NoC) 基础设施上高效地放置SNN.
- 通过优化SNN实现,使未来的节能和高性能计算范式成为可能.
主要方法:
- 开发一种自动化工具,将人工神经网络 (ANN) 转换为SNN.
- 创建一个新的图形分区算法,用于在芯片上的网络 (NoC) 上将战略SNN放置.
- 通过将ANN架构转换为SNN并分析通信路径,延迟和能源消耗来评估方法.
主要成果:
- 成功地将ANN架构转化为SNN,最小的平均错误率为2.65%.
- 拟议的图形分区算法实现了显著减少交突触 (14.22%) 和内突触 (87.58%) 通信.
- 与基线算法相比,延迟的平均下降率为79.74%,能源消耗降低了14.67%.
- 使用现有的NoC工具,SNN架构的平均能量延迟产品降低了82.71%.
结论:
- 开发的自动化工具流有效地将NN转换为SNN,解决关键的实施挑战.
- 新的图形分区算法优化了SNN在NoC上的放置,从而大大提高了通信效率,延迟和能源消耗.
- 这项工作通过促进SNNs的采用,为更节能和高性能计算系统铺平了道路.
