SNN-BERT:培训高效的尖端神经网络用于节能的BERT.

科学领域:

• 神经形态计算是一种神经形态计算.
• 人工智能的人工智能是人工智能.
• 自然语言处理自然语言处理.

背景情况:

• 尖端神经网络 (SNN) 为序列任务提供低功耗处理,因为它们的脑启发动态.
• 当前的SNN使用低效的"重复编码",限制时间理解并增加内存负载.
• 这限制了SNN在复杂NLP应用中的潜力.

研究的目的:

• 为SNN引入一种改进的输入编码策略,称为"个人编码".
• 开发一个双向并行尖端神经元 (BPSN),以应对与个体编码相关的训练时间的增加.
• 提高SNN在NLP任务中的时间建模能力和效率.

主要方法:

• 通过将输入令牌与时间步骤对齐来实现"个体编码".
• 设计了一个双向并行尖端神经元 (BPSN),支持并行计算和自适应序列长度.
• 开发了SNN-BERT,一个基于BERT的深度直接培训SNN架构,利用BPSN.
• 验证了GLUE数据集对NLP任务的方法.

主要成果:

• 与重复编码基线相比,能源消耗减少了6.46倍.
• 性能提高了16.1%,在GLUE数据集上达到74.4%.
• 演示了3.5×训练加速和3.8×内存优化.
• 获得了与ANN可比的性能,高达22.5倍的能源效率.

结论:

• "个人编码"与BPSN相结合,为NLP中的SNN提供了更高效和更有效的方法.
• 在基准NLP任务上,SNN-BERT模型推动了SNN的性能边界.
• 这项工作突出了SNNs在节能和高性能AI方面的潜力.