Evaluación de la capacidad de los grandes modelos de lenguaje para predecir las decisiones sociales humanas

Área de la Ciencia:

• Ciencias cognitivas
• Inteligencia artificial
• Psicología evolutiva

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) demuestran potencial para predecir las decisiones humanas.
• Comprender que la toma de decisiones de la IA se alinea con la psicología humana es crucial para el desarrollo de la IA.

Objetivo del estudio:

• Para comparar las predicciones de LLM (GPT-3.5, GPT-4, GPT-4o) con las decisiones humanas en varios escenarios.
• Investigar la preferencia del LLM por el riesgo y la sensibilidad a factores sociales como el parentesco y el tamaño del grupo.
• Identificar los criterios para una prueba de Turing psicológica basada en patrones de toma de decisiones.

Principales métodos:

• Análisis comparativo de 9.600 respuestas GPT-3.5/GPT-4 en 51 escenarios con datos de 2.104 participantes humanos.
• Evaluación de las 1.600 respuestas de GPT-4o en ocho condiciones de grupo social y parentesco.
• Aplicación de un marco de psicología evolutiva y teoría de la perspectiva.

Principales resultados:

• Los humanos muestran una mayor sensibilidad al parentesco y al tamaño del grupo en las decisiones de vida o muerte que los LLM.
• Los LLM muestran diferentes patrones de búsqueda de riesgos en comparación con los humanos, a menudo invirtiendo la función de valor de Prospect Theory.
• GPT-4 fue consistentemente adverso al riesgo, y GPT-4o hizo predicciones opuestas con respecto a los efectos del tamaño del grupo en comparación con los humanos.

Conclusiones:

• Los LLM y los humanos presentan distintas heurísticas de toma de decisiones, particularmente con respecto al contexto social y al riesgo.
• Los efectos de encuadre y las preferencias de riesgo dependientes del contexto social son diferenciadores clave para una prueba de Turing psicológica.
• Se necesita más investigación para refinar la alineación de la IA con la cognición social y la toma de decisiones humanas.