PMGT-VR: un marco algorítmico descentralizado de gradiente proximal con reducción de la varianza

Área de la Ciencia:

• Teoría de la optimización
• Sistemas distribuidos
• Aprendizaje automático

Sus antecedentes:

• Los problemas de optimización compuesta descentralizada son cruciales en el aprendizaje automático distribuido y el procesamiento de señales.
• Los algoritmos descentralizados existentes a menudo sufren de convergencia lenta o requieren suposiciones fuertes.
• Cerrar la brecha entre el rendimiento de optimización centralizado y descentralizado es un desafío clave.

Objetivo del estudio:

• Proponer un nuevo marco algorítmico descentralizado de reducción de varianza de gradiente proximal (PMGT-VR) para la optimización compuesta.
• Para lograr tasas de convergencia similares a los algoritmos centralizados en un entorno descentralizado.
• Para introducir el primer algoritmo estocástico descentralizado linealmente convergente para esta clase de problemas.

Principales métodos:

• Desarrollo del marco PMGT-VR que combina el consenso múltiple, el seguimiento de gradientes y la reducción de la varianza.
• Análisis de dos algoritmos específicos: el PMGT-SAGA y el PMGT-LSVRG
• Comparación con algoritmos proximales descentralizados de última generación.

Principales resultados:

• El marco PMGT-VR permite que los algoritmos descentralizados imiten las tasas de convergencia centralizadas.
• PMGT-SAGA y PMGT-LSVRG demuestran un rendimiento competitivo frente a los métodos existentes.
• PMGT-VR es el primer marco para lograr convergencia lineal para la optimización estocástica compuesta descentralizada.

Conclusiones:

• El marco PMGT-VR propuesto avanza significativamente en la optimización descentralizada.
• Los algoritmos desarrollados ofrecen soluciones eficientes para problemas distribuidos a gran escala.
• Los experimentos numéricos validan los hallazgos teóricos y la eficacia práctica.