IESSP:用于深度神经网络的基于信息提取的稀疏条纹修剪方法
Jingjing Liu1, Lingjin Huang1, Manlong Feng1
1Shanghai Key Laboratory of Chips and Systems for Intelligent Connected Vehicle, School of Microelectronics, Shanghai University, Shanghai 200444, China.
Sensors (Basel, Switzerland)
|April 12, 2025
概括
基于信息提取的Sparse Stripe Pruning (IESSP) 改进了深度学习压缩方法网络修剪. 这种技术提高了特征选择和准确性,同时大大降低了计算成本.
科学领域:
- 深度学习 (Deep Learning) 是一种深度学习.
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 网络修剪对于深度学习模型压缩至关重要,减少存储和计算.
- 目前的修剪方法在精确的特征选择和有效的特征提取方面扎.
研究的目的:
- 引入一种新的修剪技术,即基于信息提取的稀疏条纹修剪 (IESSP),以克服现有方法的局限性.
- 在深度学习模型中增强特征选择精度和提取能力.
主要方法:
- 提出了一个信息提取模块 (IEM),使用基于面具的机制来改善条纹选择和层间相互作用.
- 开发了一种新的损失函数,将输出损失与条纹选择联系起来,以实现平衡的准确性和效率.
- 在训练期间启用了条纹稀疏性的自适应优化.
主要成果:
- 在基准数据集上,IESSP表现出高于现有的修剪技术的卓越性能.
- 在CIFAR-10上应用到VGG-16时,IESSP实现了0.29%的精度改进.
- 与基线相比,在浮点操作 (FLOP) 中实现了显著的75.88%的减少.
结论:
- IESSP有效地提高了网络修剪中的特征选择和提取.
- 拟议的方法在模型准确性和计算效率之间提供了卓越的平衡.
- IESSP代表了深度学习模型压缩技术的重大进步.
