简化中等大小深度神经网络的高效和灵活的方法
Tianyi Chen1, Zhi-Qin John Xu1
1School of Mathematical Sciences, Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University, Shanghai 200240, China.
Entropy (Basel, Switzerland)
|July 26, 2024
概括
这项研究引入了一种用于神经网络的新型凝结减小方法,可以显著减少它们的尺寸,同时保持性能. 这种方法通过减少计算负载和提高推断速度来加速科学应用.
科学领域:
- 人工智能的人工智能
- 计算科学 计算科学
- 机器学习 机器学习
背景情况:
- 神经网络在科学应用中表现有前途,但它们的适度大小会影响推断速度.
- 减少神经网络的大小对于科学任务中的快速计算至关重要.
- 现有的理论表明神经网络的非线性导致神经元凝聚,从而使大小减少.
研究的目的:
- 在实践科学问题中提出和验证神经网络的凝结减小方法.
- 为了证明降低神经网络规模的可行性,同时保持性能.
- 通过实证证据证实神经元凝聚的理论发现.
主要方法:
- 开发了一种适用于完全连接和卷积神经网络的凝结减少方法.
- 将该方法应用于复杂的燃烧加速和CIFAR10图像分类任务.
- 评估了网络大小减少对预测准确性和验证准确性的影响.
主要成果:
- 在燃烧加速任务中,成功地将神经网络的大小减少到原始尺度的41.7%,保持精度.
- 在CIFAR10图像分类中实现了11.5%的网络大小缩小,具有令人满意的验证准确性.
- 在不同的网络架构和任务中表现出积极的结果.
结论:
- 拟议的冷凝减少方法对于实际的科学应用是有效的.
- 该方法显著降低了计算压力,并提高了训练有素的神经网络的推断速度.
- 这项工作验证了神经元凝结理论及其在优化神经网络性能方面的实用性.
