Leyes de escala y aprendizaje de representaciones en lenguajes jerárquicos simples: Transformers versus arquitecturas...

Área de la Ciencia:

• Lingüística computacional
• Teoría del aprendizaje automático
• Arquitecturas de aprendizaje profundo

Sus antecedentes:

• Los modelos de lenguaje neuronal (NLMs) se entrenan en tareas de predicción del siguiente token.
• Comprender cómo los NLMs adquieren la estructura lingüística es una pregunta clave de investigación.
• Trabajos anteriores establecieron una teoría de aprendizaje de representaciones basada en correlaciones de datos.

Objetivo del estudio:

• Derivar leyes de escala teóricas para NLMs entrenados en datos sintéticos.
• Investigar el impacto de la arquitectura del modelo en el aprendizaje de la estructura lingüística.
• Extender la teoría de aprendizaje de representaciones existente para tener en cuenta las diferencias arquitectónicas.

Principales métodos:

• Desarrollo de leyes de escala teóricas para el rendimiento de redes neuronales.
• Utilización de conjuntos de datos sintéticos del modelo de jerarquía aleatoria (RHM).
• Extensión de la teoría de aprendizaje de representaciones para incorporar variaciones arquitectónicas.

Principales resultados:

• Las redes convolucionales muestran una escala de rendimiento más rápida que los modelos transformer.
• Se identifican sesgos arquitectónicos en las leyes de escala neuronal.
• Predicciones validadas empíricamente sobre el rendimiento de la red.

Conclusiones:

• La arquitectura del modelo influye significativamente en cómo los NLMs aprenden la estructura lingüística.
• La alineación entre la arquitectura de la red y las propiedades estadísticas de los datos es crucial.
• Los hallazgos aclaran la interacción entre arquitectura, datos y aprendizaje de representaciones en NLMs.