关于使用MAM神经元的深度神经网络的通用近似属性
概括
神经网络中的新的多倍和最大/最小 (MAM) 神经元可以显著减少记忆. 这项研究证明,带有MAM和MAC神经元的混合网络具有通用近似能力,验证了它们的效率.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 神经网络复杂度的增加导致了更大的模型,对资源有限的设备的部署具有挑战性.
- 增加和积累 (MAC) 神经元是标准的,但记忆密集型的神经元.
- 多倍和最大/最小 (MAM) 神经元为修剪提供选择性行为,有望显著减少记忆足迹.
研究的目的:
- 从理论上描述混合多倍和最大/最小 (MAM) 和多倍和累积 (MAC) 神经网络的功能.
- 为了验证混合MAM和MAC架构保留仅MAC网络的表达能力的假设.
主要方法:
- 神经网络架构的理论分析.
- 数学证明证明了通用近似属性.
主要成果:
- 提出了两个定理,证明了特定混合网络的通用近似能力.
- 证明了两个隐藏的MAM层跟着一个MAC神经元 (具有可选的规范化) 形成一个通用近似器.
结论:
- 混合MAM和MAC网络保持了传统MAC网络的表达力.
- 这些发现支持使用MAM神经元在边缘设备上有效部署神经网络.
- 理论验证为记忆效率高的深度学习模型的实际实施铺平了道路.
