一个多倍和最大/最小的神经元范式,用于积极削减深度神经网络
概括
我们介绍了一种新的多倍和最大/最小 (MAM) 神经元结构,以实现更高效的深度神经网络 (DNN). 这允许DNN的积极修剪,显著减少边缘AI和物联网应用程序的资源需求,性能损失最小.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 深度神经网络 (DNN) 对物联网 (IoT) 和移动人工智能至关重要,但需要大量资源.
- 现有的修剪技术通过删除相互连接来减少DNN大小,但可能会影响性能.
- 传统的DNN使用繁殖和积累 (MAC) 神经元,这些神经元本质上并没有被优化为积极的修剪.
研究的目的:
- 提出一种新的神经元结构,Multiply-and-Max/Min (MAM),用于创建可自然修剪的DNN层.
- 证明基于MAM的DNN可以实现高稀疏性,性能降低微不足道.
- 评估MAM在各种DNN架构和计算机视觉数据集中的有效性.
主要方法:
- 介绍了一种基于多倍和最大/最小 (MAM) 地图减小范式的新型神经元结构.
- 在基于MAM的DNN层中应用了各种修剪技术 (单击,训练依赖,代).
- 在使用CIFAR-10,CIFAR-100和ImageNet-1K数据集的AlexNet,VGG-16和ViT-B/16模型上测试了MAM.
主要成果:
- 基于MAM的DNN层与基于MAC的经典层相比,具有更大的互连稀疏性.
- 最先进的修剪技术与最小修改的MAM层兼容.
- 在ImageNet-1K上微调的ViT-B/16上,MAM层实现了0.1%的互连,精度下降了6%,而MAC层为38.2%.
结论:
- MAM神经元结构使得低资源边缘设备的DNN可以自然和积极地进行修剪.
- 在不影响性能的情况下,MAM显著降低了DNN的计算和存储需求.
- 这种新的方法为在资源有限的环境中高效地部署人工智能提供了有希望的方向.
