LRMP:用于空间内存DNN加速器的混合精度层复制
Abinand Nallathambi1, Christin David Bose1, Wilfried Haensch2
1Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN, United States.
Frontiers in artificial intelligence
|October 21, 2024
概括
我们介绍了LRMP,该方法结合了层复制和混合精度量化,以提高内存计算 (IMC) 加速器上的深度神经网络 (DNN) 性能. 这种方法显著降低了延迟,并增加了DNN的吞吐量,以最小的准确性损失.
科学领域:
- 计算机工程 计算机工程
- 人工智能的人工智能
- 硬件加速器 硬件加速器
背景情况:
- 深度神经网络 (DNN) 面临着日益增长的计算需求,推动对高效硬件解决方案的研究.
- 使用非易失性内存 (NVM) 的内存计算 (IMC) 为通过空间并行性加速 DNN 提供了一个有前途的途径.
- 现有的基于NVM的IMC加速器与非统一的层处理时间和区域限制作斗争,限制了DNN性能.
研究的目的:
- 开发一种新的方法,LRMP,用于提高DNN在面积受限制的NVM基于IMC加速器上的性能.
- 为了应对IMC架构中不均的层处理时间和高面积要求的挑战.
- 通过共同考虑层复制和混合精度量化来优化DNN映射.
主要方法:
- LRMP采用混合方法,结合了强化学习和混合整数线性编程.
- 该方法智能地搜索层复制和混合精度定量化的设计空间.
- 硬件意识模型指导搜索,密切反映了目标IMC加速器架构.
主要成果:
- 在五个DNN基准中,LRMP表现出显著的绩效增长.
- 实现了2.6-9.3倍的延迟减少和8-18倍的吞吐量改善.
- 保持高精度,降解最小 (<1%).
结论:
- LRMP有效地优化了DNN在基于NVM的IMC加速器上部署的DNN.
- 层复制和混合精度定量化的联合应用对于性能提升至关重要.
- 这种方法为在资源有限的硬件环境中加速DNN提供了实用解决方案.
