在边缘设备上使用AI加速器对可解释ML的深度神经网络表示的性能研究
Julian Schauer1, Payman Goodarzi1, Jannis Morsch1
1Lab for Measurement Technology, Saarland University, 66123 Saarbrücken, Germany.
Sensors (Basel, Switzerland)
|September 27, 2025
概括
本研究引入了边缘设备上可解释机器学习 (ML) 的新方法,大大减少了推断时间和能源使用. 这种方法提高了智能传感器应用程序的效率,例如预测性维护.
科学领域:
- 边缘计算是一种边缘计算.
- 机器学习是机器学习.
- 深度学习是一种深度学习.
背景情况:
- 机器学习 (ML) 和深度学习 (DL) 的日益普及推动了对传感器应用中的边缘部署的需求.
- 边缘设备上的当前ML实现通常是低效的,复杂的,缺乏可解释性.
研究的目的:
- 开发一种新的,以应用为导向的方法,以代表可解释的ML推断作为深度神经网络 (DNN).
- 为了提高智能传感器应用边缘硬件上的ML算法的延迟和能源效率.
- 为了使通用的人工智能 (AI) 加速器能够用于可解释的ML算法.
主要方法:
- 将集成的可解释深度神经网络表示 (IDNNRep) 集成到一个开源的ML工具箱中.
- 在预测性维护 (PM) 中应用了回归和分类任务的方法.
- 验证了边缘硬件 (NPU和TPU) 的推断,并将量子化级别的性能与Python和C++实现进行了比较.
主要成果:
- 与C++实现相比,推断时间减少了高达80%,平均能耗减少了高达76%,精度损失最小 (0.4%).
- 使用通用AI加速器实现了进一步的性能增长,从而减少了94%的推断时间和平均能耗.
- 证明了边缘设备上ML算法的效率和解释性得到了改进.
结论:
- 新的IDNNRep方法使用通用AI加速器在边缘硬件上实现了高效,可解释的ML推断.
- 这种方法显著提高了智能传感器应用程序的性能,例如预测性维护和状态监控.
- 这些发现为在资源有限的环境中更广泛采用高效和可解释的ML铺平了道路.
