Inferir la personalidad de la actividad de las redes sociales utilizando grandes modelos de lenguaje: acuerdo entre...

Área de la Ciencia:

• Ciencias sociales computacionales
• Evaluación psicológica
• Inteligencia artificial

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) muestran potencial para la inferencia discreta de rasgos de personalidad a partir de datos digitales.
• La fiabilidad y validez de las evaluaciones de la personalidad basadas en el LLM requieren una investigación adicional.

Objetivo del estudio:

• Evaluar la confiabilidad y validez de las inferencias de rasgos de personalidad hechas por LLM a partir de datos de redes sociales.
• Para comparar el rendimiento de Gemini 1.5 Pro y GPT-4o en la evaluación de la personalidad.

Principales métodos:

• Inferido los rasgos de personalidad de los Cinco Grandes usando Gemini 1.5 Pro y GPT-4o de 2 años de publicaciones en Facebook (N=1214 usuarios italianos).
• Comparó las predicciones de LLM con la personalidad autoinformada utilizando el Inventario de Personalidad de Diez Elementos.

Principales resultados:

• Las predicciones de LLM mostraron variabilidad, subestimando la aceptabilidad y la conciencia, sobreestimando la extraversión, mientras que el neuroticismo y la apertura se alinearon con los autoinformes.
• La agregación de inferencias a través de LLM y puntos de tiempo mejoró la confiabilidad y la estabilidad temporal, con un acuerdo entre LLM que alcanzó 0.83 para Extraversion.
• Las correlaciones con los autoinformes fueron modestas, siendo la más alta de 0,31 para la apertura al combinar las inferencias de LLM.

Conclusiones:

• La agregación de inferencias de LLM a través de modelos y puntos de tiempo es crucial para mejorar la confiabilidad y validez de las evaluaciones de personalidad.
• Los LLM ofrecen una herramienta prometedora, aunque imperfecta, para la inferencia de la personalidad a partir de huellas digitales.