Los modelos de lenguaje grandes son profesores en contexto para el razonamiento del conocimiento

Área de la Ciencia:

• Inteligencia Artificial
• Procesamiento del Lenguaje Natural
• Aprendizaje Automático

Sus antecedentes:

• La enseñanza en contexto (ICT) se basa en ejemplos creados por humanos, que son costosos y variables.
• Los modelos de lenguaje grandes (LLM) ofrecen una alternativa potencial para crear demostraciones en contexto.

Objetivo del estudio:

• Investigar si los LLM pueden servir como profesores más eficaces que los humanos en ICT.
• Desarrollar métodos novedosos para mejorar la ICT basada en LLM.

Principales métodos:

• Proponer la autoexplicación: usar las explicaciones autogeneradas de un LLM como demostraciones en contexto.
• Validar la hipótesis de especificidad de la codificación: los ejemplos del profesor deben coincidir con los datos de entrenamiento del alumno.
• Introducir la retroalimentación: alinear los LLM del profesor y del alumno para mejorar el rendimiento de la ICT.

Principales resultados:

• La autoexplicación supera significativamente a los ejemplos creados por humanos y a otras líneas de base.
• Las explicaciones que se asemejan a las autoexplicaciones del LLM del alumno sirven como mejores demostraciones.
• La retroalimentación permite que un LLM más pequeño enseñe a uno más grande, superando a los profesores humanos en precisión.

Conclusiones:

• Los LLM pueden ser profesores en contexto superiores en comparación con los humanos.
• Los métodos propuestos de autoexplicación y retroalimentación mejoran la ICT basada en LLM.
• La alineación entre las explicaciones del LLM del profesor y del alumno es crucial para una ICT eficaz.