相关实验视频
Updated: Jul 28, 2025

Deep Neural Networks for Image-Based Dietary Assessment
Published on: March 13, 2021
通过在深度学习中使用Nestrove来提高RMSProp优化器的效率
Reham Elshamy1, Osama Abu-Elnasr2, Mohamed Elhoseny2
1Faculty of Computers and Information, Mansoura University, Mansoura, Egypt. reham_elshamy@oi.edu.eg.
这项研究介绍了NRMSProp,这是一种用于深度学习 (DL) 的新型优化算法,可以提高融合速度. NRMSProp通过整合Nesterov加速梯度来改进RMSProp,以实现更快的损失函数最小化.
科学领域:
- 深度学习优化优化
- 机器学习算法 机器学习算法
- 神经网络训练 神经网络训练
背景情况:
- 深度学习 (DL) 的性能通常通过参数调整,如转移学习,数据增强,丢失和批量规范化来提高.
- 选择最佳的优化器和架构对于在DL中实现模型峰值性能至关重要.
- 优化算法在有效训练DL模型和最小化丢失函数方面发挥着关键作用.
研究的目的:
- 提出一个修改后的优化算法,NRMSProp,旨在加速深度学习中的融合.
- 通过结合Nesterov加速梯度 (NAG) 原则来增强根平均平方传播 (RMSProp) 优化器.
- 与原来的RMSProp优化器相比,实现更快的损失函数最小化,而不会增加计算复杂性.
主要方法:
- 通过修改现有的RMSProp算法,开发了一个新的优化算法NRMSProp.
- NRMSProp集成了Nesterov加速梯度 (NAG),以利用梯度历史并调整学习率.
- 在各种数据集上使用深度卷积神经网络 (CNN) 进行了实验,比较NRMSProp与RMSProp和Adam.
主要成果:
- NRMSProp表现出有效的性能,并实现了高精度,在许多测试案例中达到0.97.
- 与最初的RMSProp优化器相比,拟的NRMSProp算法显示出更高的融合速度.
- 在没有增加算法复杂性,内存或时间的情况下,NRMSProp比Adam优化器取得了同等或更好的结果.
结论:
- NRMSProp为深度学习提供了一种有效和高效的优化方法,在融合速度和准确性方面表现优于RMSProp和Adam.
- 将NAG原则集成到RMSProp中,使得DL模型的优化过程更强大,更快.
- 在DL优化方面,NRMSProp提供了有价值的进步,在最小的计算开销下提供了显著的性能增长.
更多相关视频
03:31Author Spotlight: Enhancement of Salient Object Detection for Smart Grid Applications
Published on: December 15, 2023
06:45Design and Application of a Fault Detection Method Based on Adaptive Filters and Rotational Speed Estimation for an Electro-Hydrostatic Actuator
Published on: October 28, 2022
相关概念视频
Reducing Line Loss
With a step-up transformer at the source, the voltage is increased, thereby reducing the current in the transmission lines since power loss...
Residuals and Least-Squares Property
If the observed data point lies above the line, the residual is positive, and the line underestimates the actual data value for y. If the observed data point lies below the line, the residual is negative, and the line overestimates the actual data value for y.
The process of fitting the best-fit...
Improving Translational Accuracy
Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
Production Efficiency
Regression Toward the Mean