Jump-GRS:用于神经解码的神经网络的结构化修剪的多阶段方法

科学领域:

• 神经工程 神经工程是神经工程.
• 机器学习 机器学习
• 计算神经科学是一种神经科学.

背景情况:

• 神经解码将大脑活动与行为联系起来,深度神经网络 (DNN) 是有前途的.
• 高解码精度和实时速度对于诸如脑机接口等应用至关重要.
• 现有的修剪方法,如贪的层间顺序与随机选择 (GRS),对于大规模的DNN来说是计算密集的.

研究的目的:

• 在神经解码中开发一个有效的算法来压缩大规模DNN.
• 为了提高GRS修剪方法的计算效率.
• 引入跳跃 贪的层间顺序与随机选择 (JGRS) 实现更快,更可扩展的DNN压缩.

主要方法:

• 通过将"跳跃机制"纳入GRS算法来开发JGRS.
• 跳跃机制绕过中间模型重新训练,当准确性对修剪不那么敏感时.
• 确定了修剪阶段,重新训练可能不频繁,以提高速度和可扩展性.

主要成果:

• 与GRS相比,JGRS表现出明显更快的修剪速度.
• 由JGRS生成的修剪模型表现出与GRS.产生的类似的紧性.
• 在多个模型中,JGRS实现了9%-20%更多的压缩模型,执行速度是多个模型的2-8倍.

结论:

• 在神经解码中,JGRS为压缩大规模DNN提供了一个计算效率高且可扩展的解决方案.
• 跳跃机制有效地加速了修剪过程,而不会影响模型性能.
• 对于需要用于神经数据分析快速DNN压缩的应用程序,JGRS是一个可行的替代方案.