通过全球关注道进行神经网络修剪以最大限度地提高性能
Yingchun Wang1, Song Guo2, Jingcai Guo2
1BDKE Lab, School of Computer Science and Technology, Xi'an Jiaotong University, Xi'an, China; Department of Computing, The Hong Kong Polytechnic University, Hong Kong Special Administrative Region of China.
概括
全球Pru引入了一种静态网络修剪方法,可以适应数据差异,为资源有限的设备实现高压缩比. 这种方法优于现有的静态和动态修剪技术.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 网络修剪对于在资源有限的设备上部署大型神经网络至关重要.
- 静态修剪删除固定网络通道,限制冗余挖掘.
- 动态修剪提供了更高的压缩,但患有内存低效.
研究的目的:
- 开发一种静态网络修剪方法,以解决动态修剪的内存低效.
- 提出一个新的框架,尊重数据的变化,同时保持静态修剪效率.
- 通过改进的静态修剪策略,实现最先进的性能和压缩比.
主要方法:
- 建议基于道注意力的学习到等级框架来确定全球道冗余性.
- 样本明智的道注意力是对齐的,以建立一个一致的全球排名.
- 这种全球排名可以在所有数据样本中进行静态修剪.
主要成果:
- 与最先进的静态和动态修剪技术相比,提出的GlobalPru方法实现了更高的性能.
- 在ImageNet,SVHN和CIFAR-10/100数据集上的实验验证实了GlobalPru.ru的有效性.
- 全球Pru展示了显著的性能提升和更高的压缩比率.
结论:
- 全球Pru提供了一个有效的静态替代动态网络修剪,平衡效率和性能.
- 基于道注意力的学习到等级框架成功地统一了样本特定信息,用于全球修剪决策.
- 这种方法可以在资源有限的设备上高效地部署大型神经网络.
