一个基于否定的皮质损失的新型反向传播算法,用于训练浅层,卷积和深层神经网络

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 逆向传播 (BP) 是训练神经网络 (NN) 的标准,如SNN,CNN,DNN和DCNN.
• 英国石油公司的平均平方误差 (MSE) 损失函数导致缓慢的收和高稳定状态误差.
• 现有的方法在优化NN培训效率方面扎.

研究的目的:

• 提出一种新的BP算法,用于加强SNN,CNN,DNN和DCNN的训练和测试.
• 提高 NN 培训中的趋同率,减少 NN 培训中的稳定状态错误.
• 引入基于否定输出误差 kurtosis 的新损失函数.

主要方法:

• 开发了一个新的BP算法,最大限度地减少了输出层错误的否定曲解.
• 扩展了基于kurtosis的BP算法,以整合RMSProp和Adam等优化器.
• 在各种 NN 架构中对回归和分类任务进行算法的评估.

主要成果:

• 拟议的基于库尔托斯的BP算法显示了更高的收率.
• 与传统方法相比,新的BP算法显著减少了稳定状态误差.
• 在所有测试的NN架构 (SNN,CNN,DNN,DCNN) 中都观察到改善.

结论:

• 基于库尔托斯的BP算法比传统BP提供了更高的性能.
• 这种新的方法提高了各种神经网络的培训和测试效率.
• 尽量减少输出误差库尔托斯是NN优化的一个有效策略.