RePaIR: 在初始化弹性时修复了修剪
Haocheng Zhao1, Runwei Guan1, Ka Lok Man2
1Institute of Deep Perception Technology, JITRI, 214000, Wuxi, China; Department of Electrical Engineering and Electronics, University of Liverpool, L69 3BX, Liverpool, United Kingdom; Department of School of Advanced Technology, Xi'an Jiaotong-Liverpool University, 215123, Suzhou, China; XJTLU-JITRI Academy of Technology, Xi'an Jiaotong-Liverpool University, 215123, Suzhou, China.
本研究介绍了Repaired Initialization (ReI) 和Repaired Pruning at Initialization Resilience (RePaIR),以提高神经网络的训练效果. 这些方法通过在初始化过程中考虑重量适用性来提高模型的稳定性和准确性,特别是在修剪模型中.
科学领域:
- 深度学习 (Deep Learning) 是一种深度学习.
- 神经网络修剪神经网络修剪
- 模型优化模型优化
背景情况:
- 神经网络模型的尺寸越来越大,人们对修剪技术的兴趣越来越大.
- 非结构化的修剪为推断加速提供了细粒度的稀疏性,但可能会有不足的风险.
- 现有的修剪方法往往忽视了保持重量的适合训练.
研究的目的:
- 分析利普希茨初始化对神经网络训练的影响.
- 提出新的算法,Repaired Initialization (ReI) 和Repaired Pruning at Initialization Resilience (RePaIR),以减轻装备不足和提高训练的稳定性. 为了提高训练的稳定性,我们提出了新的算法,即Repaired Initialization (ReI) 和Repaired Pruning at Initialization Resilience (RePaIR),以减少装备不足和提高训练的稳定性.
- 为了增强现有的修剪算法,如SynFlow用于更深层次的模型.
主要方法:
- 分析利普希茨常数对模型初始化和训练的影响.
- 开发修复初始化 (ReI) 算法,用于使用BatchNorm.
- 建议对非结构化修剪模型进行初始化弹性修复修剪 (RePaIR) 算法.
- 通过将Lipschitz缩放纳入SynFlow,引入修复SynFlow (ReSynFlow).
主要成果:
- ReI和RePaIR提高了未修剪和修剪模型的训练稳定性.
- 在使用RePaIR的TinyImageNet上使用相同的稀疏修剪面罩实现了高达1.7%的精度增长.
- 与TinyImage.Net上的SynFlow相比,ReSynFlow提高了深度模型的最大压缩率和精度 (高达1.3%),与TinyImage.Net上的SynFlow相比.
结论:
- 利普希茨初始化策略可以显著提高神经网络的训练和修剪.
- ReI和RePaIR为改善模型弹性和性能提供了有效的解决方案.
- ReSynFlow提供了一种可行的方法,可以更有效地压缩更深层的神经网络.
相关概念视频
Neuroplasticity
Overview of Regeneration and Repair
Regeneration
All animals have varying degrees of...
Neurogenesis and Regeneration of Nervous Tissue
Survival Tree
Building a Survival Tree
Constructing a...
Restarting Stalled Replication Forks
Long-patch Base Excision Repair


