紧和可解释的神经网络使用雷默激活单元

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 传统的神经网络依赖于点向激活函数,可以分离特征加权和非线性.
• 现有的激活函数缺乏内在的解释性,并可能导致复杂的,深层次的架构.

研究的目的:

• 引入雷默激活单位 (LAU) 作为一种基于聚合的神经激活的新型类别.
• 将特征权重和非线性统一到一个单一的可分化的运算符中.
• 开发现实值和复杂值的LAU的配方,以提高表达能力.

主要方法:

• 从雷默变换中导出LAU,从而实现基于聚合的特征处理.
• 在 LAU 内部开发可学习参数,以适应聚合行为并提高可解释性.
• 建立基于LAU的神经网络的通用近似定理.

主要成果:

• 操作单位在功能集合上运行,提供内在可解释的表示.
• 具有复杂价值的LAU可以促进相位敏感的交互,并增加模型的表达力.
• 基于LAU的网络通过非常紧的架构实现了强大的性能,将表达力集中在神经元内.

结论:

• 实际操作单位提供了一个原则性的,可解释的,高效的替代传统激活功能.
• 这项研究表明,可以通过专门的神经元设计而不是仅仅通过建筑深度来实现显著的表达力.
• 实践单位为开发更高效,更易理解的深度学习模型提供了一个有前途的方向.