通过蒸改善轻量级的AdderNet 从l₂到l₁-标准

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 卷积神经网络 (CNN) 依赖于计算上昂贵的乘法运算.
• 添加器神经网络 (ANN) 提供了一个硬件友好的替代方案,通过使用l1-norm.用加法替换乘法.
• 在CNN和ANN之间存在性能差距,特别是在降低参数的情况下,目前的方法无法解决这一问题.

研究的目的:

• 引入一种新的方法,即规范引导蒸 (NGD),以提高l1-规范ANN的性能.
• 为了使l1-规范ANN能够从l2-规范ANN有效地学习,弥合绩效差距.

主要方法:

• 拟议的标准导向蒸 (NGD) 对于l1-标准ANNs.
• 利用l2距离在l2规范ANN中的优越集群性能来实现特征学习.
• 在l2-规范ANN的特点中鼓励了类内集中和类间分散.
• 修改了ANN梯度,以便从l2规范逐步接近l1规范,以实现精确的优化.

主要成果:

• NGD显著提高了轻量级ANN的性能.
• 在CIFAR-100和ImageNet.Net等基准标准上表现出有效性.
• 在CIFAR-100上,通过0.25xGhostNet实现了10.43%的改进.
• 在ImageNet.Net上使用1.0x GhostNet实现了3.1%的改进.

结论:

• NGD是一种有效的方法来增强l1-标准的ANN,特别是在资源有限的应用程序中.
• 提出的技术成功地弥合了基于l1标准和l2标准的网络之间的性能差距.
• NGD提供了一种实用的解决方案,用于对硬件友好的设计进行高效的深度学习推断.