LDD:由人工神经网络指导的深尖神经网络转换器的高精度训练
Yuqian Liu1,2, Chujie Zhao1,2, Yizhou Jiang1,2
1Department of Automation, Tsinghua University, Beijing 100084, China.
Biomimetics (Basel, Switzerland)
|July 26, 2024
概括
这项研究介绍了LDD,这是一种新的方法,可以有效地训练深度尖端神经网络 (SNN) 变压器. LDD使人工神经网络 (ANN) 和SNN功能保持一致,克服了对节能AI的培训挑战.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 计算神经科学是一种神经科学.
背景情况:
- 大规模的变压器模型面临着巨大的计算和能源需求.
- 尖端神经网络 (SNN) 为节能和高速的人工智能提供了一个有希望的替代方案.
- 直接训练深度SNN变压器受到替代梯度不准确性和特征定量化的阻碍.
研究的目的:
- 开发一种有效训练深度尖端神经网络 (SNN) 变压器模型的方法.
- 在SNN培训中解决替代梯度不准确性和特征定量化的挑战.
- 为了在不同网络抽象级别之间对准人工神经网络 (ANN) 和SNN之间的特征表示.
主要方法:
- 提出了一种新的方法,LDD (深度SNN变压器的分层蒸).
- 纳入来自ANN的结构化特征知识,以指导SNN培训.
- 设计了分层的蒸损失,以减轻替代梯度的不准确性,并保留关键信息.
主要成果:
- 在CIFAR10 (96.1%),CIFAR100 (82.3%) 和ImageNet (80.9%) 数据集上实现了最先进的性能.
- 在ImageNet上成功启用了迄今为止最深的SNN变压器网络的训练.
- 证明了LDD在跨抽象级别对准ANN和SNN特征方面的有效性.
结论:
- 在训练深度SNN转换器方面,LDD有效地克服了关键挑战.
- 提出的方法显著提高了准确性,并使更深的SNN变压器架构成为可能.
- 使用SNN,LDD为更节能,更强大的AI模型铺平了道路.
