mL-BFGS: Un L-BFGS basado en el impulso para la optimización de redes neuronales distribuidas a gran escala

Área de la Ciencia:

• Aprendizaje automático
• Algoritmos de optimización
• Las redes neuronales profundas

Sus antecedentes:

• Los métodos cuasi-Newton, incluido el L-BFGS, enfrentan desafíos en el entrenamiento de redes neuronales profundas a gran escala debido a los costos computacionales y la inestabilidad en entornos estocásticos.
• Las adaptaciones existentes de L-BFGS para el entrenamiento estocástico a menudo introducen gastos generales significativos, negando los beneficios de la convergencia.

Objetivo del estudio:

• Proponer mL-BFGS, un algoritmo L-BFGS ligero basado en el impulso diseñado para una optimización eficiente de redes neuronales profundas distribuidas a gran escala.
• Mejorar la estabilidad y reducir la carga computacional de los métodos cuasi-Newton en el aprendizaje profundo.

Principales métodos:

• Desarrollado mL-BFGS, incorporando un esquema de impulso en la actualización L-BFGS para mitigar el ruido estocástico en las aproximaciones de Hesse.
• Implementación de la aproximación de Hessian en mL-BFGS para distribuir los costos computacionales y de memoria entre los nodos para el entrenamiento a gran escala.
• Proporcionó un análisis teórico de convergencia para mL-BFGS en escenarios de optimización estocástica.

Principales resultados:

• mL-BFGS demostró convergencia estabilizada durante la optimización estocástica mediante la reducción del ruido en las aproximaciones de Hessian.
• La aproximación de Hessian en bloques permitió un escalamiento eficiente de la computación y la memoria para el entrenamiento distribuido.
• Los resultados empíricos en modelos neuronales de referencia mostraron una aceleración significativa en cuanto a iteración y reloj de pared en comparación con los métodos de referencia como SGD y Adam.

Conclusiones:

• mL-BFGS ofrece un enfoque prometedor para aprovechar los métodos cuasi-Newton en el entrenamiento de redes neuronales profundas a gran escala.
• El algoritmo propuesto equilibra efectivamente la eficiencia computacional con la estabilidad de convergencia, superando a los métodos existentes.