Probando la visión del baño de giro de la autoatención: un análisis hamiltoniano del transformador GPT-2

Área de la Ciencia:

• La inteligencia artificial es inteligencia artificial.
• Física de la materia condensada Física de la materia condensada La física de la materia condensada es la física de la materia condensada.
• La lingüística computacional es la lingüística computacional.

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) exhiben comportamientos complejos como la repetición y el sesgo.
• Los métodos de interpretabilidad existentes a menudo carecen de fundamento en los primeros principios.
• Un nuevo marco basado en la física modela la atención de LLM como un sistema de espín.

Objetivo del estudio:

• Para validar empíricamente la analogía del baño de giro para los mecanismos de atención de LLM.
• Derivar criterios predictivos para la selección de tokens a partir de un modelo basado en la física.
• Para investigar el vínculo causal entre la dinámica del sistema de giro y la salida de LLM.

Principales métodos:

• Se extrajeron las matrices de peso de las claves de consulta de un modelo GPT-2.
• Deriva los hamiltonianos efectivos para cada cabeza de atención.
• Desarrolló criterios de límite de fase analítica y de brecha de logit.
• Realizó evaluaciones sistemáticas sobre las solicitudes de recuerdo de hechos y las ablaciones dirigidas.

Principales resultados:

• Se encontró una fuerte correlación negativa (r≈-0.70) entre las brechas de logit teóricas y las clasificaciones de tokens empíricos.
• La supresión de las cabezas de atención dominantes predichas cambió causalmente las probabilidades de salida.
• La analogía del baño de giro fue apoyada por fuertes evidencias empíricas en un LLM de grado de producción.

Conclusiones:

• La analogía del baño de espín proporciona una poderosa explicación basada en la física para la atención de LLM.
• Los criterios derivados ofrecen poder predictivo para la selección de tokens.
• Este trabajo une la física de la materia condensada y la IA, allanando el camino para nuevos modelos generativos.