从ReLU网络到尖端神经网络的精确映射
Ana Stanojevic1, Stanisław Woźniak2, Guillaume Bellec3
1IBM Research Europe - Zurich, Rüschlikon, Switzerland; École polytechnique fédérale de Lausanne, School of Life Sciences and School of Computer and Communication Sciences, Lausanne EPFL, Switzerland.
概括
我们开发了一种精确的方法,将深度直化线性单元 (ReLU) 网络转换为节能尖端神经网络 (SNN). 这种方法实现了零性能损失,使得低功耗的人工智能应用成为可能.
科学领域:
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
背景情况:
- 深度尖端神经网络 (SNN) 对低功耗AI来说是有前途的.
- 训练深度SNN或转换现有网络而不会损失性能仍然是一个重大挑战.
研究的目的:
- 提出一种精确的映射方法,用于将深度整形线性单位 (ReLU) 网络转换为单尖SNN.
- 证明这种转换可以在不降低性能的情况下实现.
主要方法:
- 开发了一种构造性证明,用于从多层ReLU网络到SNN的精确映射.
- 假设访问受过训练的 ReLU 网络参数 (权重,偏差) 和代表性的训练数据.
- 将映射应用于具有卷积,批量规范化和最大聚合层的网络.
主要成果:
- 在基准数据集上实现了零%的准确性下降:CIFAR10,CIFAR100,Places365和PASS.
- 证明了用高能效的单尖SNNs取代深层ReLU网络的可行性.
结论:
- 一个任意的深度 ReLU 网络可以精确地转换成一个节能单尖 SNN.
- 这种方法可以部署高性能,低功耗的人工智能系统,而不会影响准确性.


