Caracterización analítica de la negligencia en las redes neuronales: Perspectivas de modelos lineales

Área de la Ciencia:

• Aprendizaje automático Aprendizaje automático.
• Teoría de los sistemas dinámicos Teoría de los sistemas dinámicos
• La neurociencia computacional es una neurociencia computacional.

Sus antecedentes:

• Las redes neuronales profundas exhiben trayectorias de entrenamiento consistentes en diversos entornos.
• Estas trayectorias parecen limitarse a una variedad de baja dimensión en el espacio de distribución de probabilidad, denominada "hipercinta".
• Las razones subyacentes de este fenómeno en las redes profundas siguen siendo un área activa de investigación.

Objetivo del estudio:

• Para caracterizar analíticamente la variedad de baja dimensión (hipercinta) observada durante el entrenamiento de redes neuronales profundas.
• Investigar los factores que controlan la geometría y la aparición de esta variedad en modelos más simples.
• Extender estos conocimientos analíticos a clases más amplias de modelos de aprendizaje automático.

Principales métodos:

• Aplicación de la teoría de sistemas dinámicos para analizar la dinámica del entrenamiento.
• Caracterización analítica de las trayectorias de formación en redes lineales.
• Cálculo y delimitación de las contribuciones de los parámetros de control clave.

Principales resultados:

• La geometría de la variedad hipercinta en redes lineales está determinada por el decaimiento de valores propios de la matriz de correlación de entrada, la escala inicial de peso a salida y los pasos de descenso del gradiente.
• Cálculo analítico de los límites de fase para la formación de hipercintas.
• Extensión del análisis a máquinas de núcleo y modelos lineales entrenados con descenso de gradiente estocástico.

Conclusiones:

• El fenómeno de la hipercinta en el aprendizaje profundo tiene sus raíces en la dinámica de los modelos lineales.
• Comprender estas variedades de baja dimensión proporciona información sobre las capacidades de generalización de las redes neuronales.
• El marco analítico ofrece una forma de predecir y potencialmente controlar el comportamiento de entrenamiento de la red.