能量与神经网络深度之间的权衡

科学领域:

• 计算复杂性理论计算复杂性理论
• 人工智能的人工智能是人工智能.
• 机器学习 机器学习

背景情况:

• 离散的神经网络,包括值电路,对于高效的计算至关重要.
• 了解大小,深度,重量和能量等计算资源的相互作用对于优化这些网络至关重要.
• 能量,定义为最大的非零门激活,提供了一种新的复杂度度,灵感来自稀疏编码.

研究的目的:

• 分析计算资源 (大小,深度,重量,能量) 与由离散神经网络计算的布尔函数复杂性的关系.
• 根据这些网络的资源限制,建立这些网络计算能力的理论界限.
• 识别不同计算资源之间的权衡,特别是深度和能量.

主要方法:

• 导出一个理论界限,将布尔函数的等级与计算它的值电路的能量,深度,大小和重量相关联.
• 对特定的布尔函数 (CDn) 的分析,以说明导出边界及其含义.
• 将分析扩展到其他离散神经网络模型,如ReLU和西格形电路.

主要成果:

• 一个关键的发现是,对于计算布尔函数f的值电路C,该电路的log{rk{f}) ≤ed{log{s} +log{w} +log{n}.
• 对于CDn函数,不等式n/2 ≤ ed ((log s + log w + log n) 证明函数复杂度与能量和深度的乘积之间存在线性关系.
• 对于离散的ReLU和Sigmoid电路,深度和能量之间的类似权衡得到了证明.

结论:

• 对于计算布尔函数而言,离散神经网络的深度和能量之间存在显著的权衡.
• 增加网络深度可以提高学习稀疏表示的能力,特别是当硬件资源如神经元数量和重量分辨率有限时.
• 这些发现为对离散神经网络的高效设计和资源配置提供了理论见解.