RoSwish:一种新的旋转动激活功能,可在零点周围自适应旋转

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 现有的激活函数通常在非线性表达能力方面存在局限性.
• 需要激活功能来提供更好的平滑性,梯度稳定性和适应性.
• 当前的模型难以有效地表示非静态信号.

研究的目的:

• 为了介绍新的旋转 (RoSwish) 激活功能.
• 提高神经网络中的非线性表达能力和性能.
• 探索激活函数,灵感来自于非静止的随机过程理论.

主要方法:

• 开发了RoSwish激活函数:f(x) =(x+α) ·sigmoid(β·x) -0.5·α,具有可学习的参数α和β.
• 整合了Rectified Linear Unit (ReLU),高斯错误线性单位 (GELU),指数线性单位 (ELU),参数ReLU (PReLU) 和Swish的优势特征.
• 设计了一系列基于非静止正弦波的激活函数.

主要成果:

• 在MNIST分类 (≥16.02%),MNIST自动编码 (MSE减少≥5%),tweet标记 (≥3.65%) 和ETTm2时间序列预测 (≥6.06%) 中,RoSwish实现了显著的性能改进.
• 结合RoSwish和批量规范化,在低学习率下,推特标记有30.19%的改进.
• 基于非静止正弦波的激活函数至少提高了6.55%的MNIST分类性能.

结论:

• 与现有的激活功能相比,RoSwish提供了卓越的非线性表达能力和适应性.
• 拟议的激活函数显示了在各种应用中增强神经网络性能的前景.
• 这项研究为开发复杂数据表示的高级激活函数提供了新的途径.