Descenso de gradiente fraccionario templado: Teoría, algoritmos y aplicaciones de aprendizaje robusto

Área de la Ciencia:

• Aprendizaje automático
• Algoritmos de optimización
• Cálculo fraccionario

Sus antecedentes:

• Los métodos tradicionales de descenso de gradiente exhiben convergencia y oscilaciones lentas en paisajes de datos ruidosos de alta dimensión.
• Los optimizadores existentes luchan con problemas de optimización complejos, lo que requiere enfoques más robustos.

Objetivo del estudio:

• Introducir el descenso de gradiente fraccionario templado (TFGD), un nuevo marco de optimización.
• Mejorar el aprendizaje basado en gradientes mediante la integración de cálculo fraccionario y templado exponencial.
• Abordar las limitaciones de los métodos tradicionales en materia de convergencia y estabilidad.

Principales métodos:

• Desarrolló TFGD mediante la incorporación de un mecanismo de memoria templada con coeficientes fraccionarios y decaimiento exponencial.
• Análisis de las garantías teóricas de convergencia para los ajustes convexos y estocásticos.
• Validación empírica del rendimiento de TFGD en diversos conjuntos de datos de referencia.

Principales resultados:

• TFGD logró una precisión superior en el cáncer de mama de Wisconsin (98,25%) y MNIST (99,1%) en comparación con SGD y Adam.
• Se ha demostrado una convergencia 2 veces más rápida que la SGD en la clasificación médica y una optimización más suave en entornos no convexos.
• Se han identificado rangos óptimos de hiperparámetros (α=0,6-0,7, λ=0,3-0,5) para datos ruidosos.

Conclusiones:

• El TFGD ofrece una alternativa sólida a los optimizadores convencionales, mejorando la convergencia y la estabilidad.
• El mecanismo de memoria templada es efectivo para conjuntos de datos con características correlacionadas.
• TFGD muestra una promesa significativa para las tareas de aprendizaje automático teórico y aplicado.