Evaluación de las Habilidades Relacionales de Modelos Lingüísticos Grandes y Modelos de Razonamiento Grandes

Área de la Ciencia:

• Inteligencia Artificial
• Ciencias Cognitivas
• Análisis Conductual

Sus antecedentes:

• Evaluar las habilidades relacionales es crucial para comprender la inteligencia tanto en sistemas biológicos como artificiales.
• Los métodos existentes para evaluar las habilidades relacionales en la inteligencia artificial son limitados.
• Las tareas de análisis conductual ofrecen un marco robusto para investigar funciones cognitivas complejas.

Objetivo del estudio:

• Evaluar las habilidades relacionales de los modelos lingüísticos grandes (LLM) y los modelos de razonamiento grandes (LRM) de última generación.
• Introducir una novedosa batería de varios miles de problemas silogísticos para evaluar las habilidades relacionales generalizadas.
• Investigar el impacto de la variación de la complejidad y las transformaciones de la función del estímulo en el rendimiento del modelo.

Principales métodos:

• Se utilizó una nueva batería de problemas silogísticos con múltiples tipos de relaciones (similitud, diferencia, comparación, jerarquía, analogía, temporal, déctica).
• Los problemas involucraron pseudopalabras, variaron en complejidad (número de premisas, premisas irrelevantes) e incluyeron formatos de conclusión válidos/inválidos.
• Se probaron transformaciones de la función del estímulo y se realizó un estudio de replicación con orden de premisas aleatorizado.

Principales resultados:

• Ambos LLM y LRM generalmente se desempeñaron bien en la novedosa batería de tareas relacionales.
• Los modelos exhibieron cierta variabilidad en diferentes tipos de relaciones y se vieron mínimamente afectados por las variaciones de la tarea.
• El rendimiento se mantuvo robusto incluso cuando el orden de las premisas se aleatorizó, lo que indica habilidades generalizables.

Conclusiones:

• La batería de tareas silogísticas desarrollada proporciona un nuevo marco para evaluar las habilidades intelectuales centrales en sistemas artificiales.
• Los LLM y LRM muestran una competencia relacional significativa, aunque no perfecta.
• La investigación futura debería explorar las implicaciones para la inteligencia artificial general y refinar aún más las metodologías de evaluación.