一种混合升级和缩减的方法,用于优化缩阵列加速器的性能和能源效率
Hao Sun1,2, Junzhong Shen1,2, Changwu Zhang3
1College of Computer Science and Technology, National University of Defense Technology, Changsha 410073, China.
Micromachines
|March 27, 2025
概括
系统阵列加速器的新混合方法结合了扩展和缩减方法,以优化深度神经网络 (DNN) 计算. 这种综合设计提高了人工智能应用的性能和能源效率.
科学领域:
- 计算机工程 计算机工程
- 人工智能 硬件加速 硬件加速
背景情况:
- 深度神经网络 (DNN) 需要大量的计算资源,挑战现有的硬件加速器.
- 缩阵列加速器对于DNN中的张量运算至关重要,传统上使用扩展 (更大的阵列) 或扩展 (平行阵列) 方法.
- 无论是扩大规模还是缩小规模,都无法在各种DNN任务中实现最佳性能和能源效率.
研究的目的:
- 提出一种新的混合系统阵列加速器架构.
- 解决DNN加速现有扩展和缩放方法的局限性.
- 为了优化各种DNN工作负载的性能和能源效率.
主要方法:
- 开发了一种混合方法,将缩放和缩减技术集成到缩阵列加速器中.
- 在多租户环境中利用映射空间探索来分配DNN操作.
- 为不同的DNN计算要求配置了特定的缩阵列模块.
主要成果:
- 拟议的混合系统阵列加速器显示了与TPUv3.3相比的显著改进.
- 实现了能源消耗的平均降低高达8%.
- 在各种DNN模型中,显示了高达57%的平均吞吐量改善.
结论:
- 混合缩放和缩减方法有效平衡DNN加速的性能和能源效率.
- 这种集成架构为现代AI硬件需求提供了更具多功能性和效率的解决方案.
- 这些发现表明了未来开发专门的AI加速器的有希望的方向.
更多相关视频
05:04Author Spotlight: Introduction to Active Probe Atomic Force Microscopy with Quattro-Parallel Cantilever Arrays
Published on: June 13, 2023
1.4K
10:36Author Spotlight: Optimization of Airflow Velocities in Battery Cooling Systems for Enhanced Thermal Performance and Reduced Energy Consumption
Published on: November 3, 2023
1.4K
