Dinámica geométrica de la propagación de señales predice la entrenabilidad de los transformadores

Área de la Ciencia:

• Aprendizaje Profundo
• Inteligencia Artificial
• Arquitecturas de Redes Neuronales

Sus antecedentes:

• Los transformadores profundos son potentes pero difíciles de entrenar debido a problemas con la propagación de señales y la dinámica de gradientes.
• La inicialización aleatoria a menudo conduce a gradientes explosivos o desvanecientes, lo que dificulta el aprendizaje efectivo.

Objetivo del estudio:

• Desarrollar criterios geométricamente significativos para la inicialización de hiperparámetros en transformadores profundos.
• Garantizar la entrenabilidad de los transformadores profundos analizando la propagación de señales hacia adelante y hacia atrás.

Principales métodos:

• Se investigó la propagación de señales hacia adelante y la retropropagación de gradientes en transformadores profundos inicializados aleatoriamente.
• Se utilizó una perspectiva dinámica, tratando los vectores de tokens como partículas que evolucionan a través de las capas del transformador.
• Se derivaron ecuaciones de actualización geométricas promediadas por ensemble y se analizaron las transiciones de fase.

Principales resultados:

• Identificó una transición de fase orden-caos en la propagación de señales hacia adelante (ángulos de tokens).
• Observó una transición entre gradientes explosivos/desvanecientes en la retropropagación.
• Derivó límites de fase y dos exponentes de Lyapunov (exponentes de ángulo de token y gradiente).

Conclusiones:

• El desvanecimiento simultáneo de los exponentes del ángulo de token y del gradiente proporciona criterios simples para la inicialización de hiperparámetros.
• Estos criterios se correlacionan con una pérdida de prueba mínima, lo que sugiere un camino hacia un entrenamiento de transformadores profundos más estable y efectivo.