量子化意识的NN层与高通量FPGA实现边缘AI
Mara Pistellato1, Filippo Bergamasco1, Gianluca Bigaglia2
1Dipartimento di Scienze Ambientali, Informatica e Statistica (DAIS), Università Ca'Foscari di Venezia, Via Torino 155, 30170 Venezia, Italy.
Sensors (Basel, Switzerland)
|July 11, 2023
概括
本研究介绍了针对现场可编程网关数组 (FPGA) 的自定义深度学习层,从而实现高效的实时工业推理. 这种新的方法在低位精度下实现了高精度,优于传统方法.
科学领域:
- 深度学习和人工智能
- 硬件加速用于机器学习.
- 嵌入式系统和实时计算实时计算
背景情况:
- 深度学习,特别是卷积神经网络 (CNN),在各种应用中提供了显著的优势.
- 消费者个人电脑 (PC) 硬件通常不适合工业环境,因为恶劣的条件和严格的时间要求.
- 现场可编程网关数组 (FPGA) 正在在工业环境中获得高效网络推断的吸引力.
研究的目的:
- 提出一种新的定制网络架构家族,用于对FPGA进行实时推理.
- 开发一个可训练的量化层 (Requantizer) 整数算术与可定制的精度 (到两个位).
- 为了使图形处理单元 (GPU) 的高效培训和随后的合成到FPGA硬件.
主要方法:
- 设计定制层,使用整数算术,可调节的比特精度.
- 开发了一个可训练的量子化层",Requantizer",用于非线性激活和值重新缩放.
- 在GPU上使用TensorFlow Lite训练模型,并使用Vivado对Xilinx FPGAs进行合成.
主要成果:
- 实现了与浮点版本相比的量子化网络准确性,而不需要校准数据.
- 在一个案例研究中,与专用峰值检测算法相比,演示了优越的性能.
- 实现FPGA实现了以每秒4千兆像素的实时处理,效率为0.5TOPS/W.
结论:
- 拟议的定制FPGA解决方案为工业应用中的实时深度学习推理提供了可行的替代方案.
- 量子化意识的培训方法有效地处理有限的精度约束.
- 开发的硬件加速器提供了高性能和能源效率,与定制集成解决方案相竞争.
