Correspondencia de estructuras emocionales de alta dimensión obtenidas de videoclips entre humanos y LLM multimodales

Área de la Ciencia:

• Ciencias cognitivas
• Inteligencia artificial
• La computación afectiva

Sus antecedentes:

• Las emociones humanas poseen una estructura compleja y de alta dimensión que los modelos convencionales a menudo simplifican demasiado.
• Comprender los matices de la complejidad emocional es crucial para avanzar en la interacción humano-computadora y la investigación psicológica.
• El surgimiento de los Modelos de Lenguaje Grande Multimodal (MLLM) presenta una oportunidad para explorar su capacidad para modelar estados emocionales complejos.

Objetivo del estudio:

• Investigar hasta qué punto los modelos de lenguaje multimodal de última generación (MLLM) capturan la estructura tridimensional de las emociones humanas.
• Para comparar las estimaciones de emociones generadas por MLLM con las emociones autoinformadas humanas en varios estímulos de video.
• Evaluar el rendimiento del MLLM tanto a nivel de vídeo individual como de relación entre vídeos, distinguiendo entre la precisión de categoría gruesa y la de un solo elemento.

Principales métodos:

• Comparación de las calificaciones de emoción reportadas por los participantes con las estimaciones de emoción generadas por MLLM (por ejemplo, Gemini, GPT) para estímulos de video.
• Evaluación de la similitud de la estructura de las emociones utilizando el análisis de correlación a nivel de vídeo individual.
• Aplicación del Transporte Óptimo de Gromov-Wasserstein para diferenciar entre el rendimiento de un solo elemento y el nivel de categoría gruesa en la inferencia de emociones.

Principales resultados:

• Se observó una fuerte similitud general entre las estructuras emocionales humanas e inferidas por MLLM a nivel de correlación.
• Si bien la precisión de la predicción de emociones de un solo elemento fue limitada, los MLLM demostraron un rendimiento sustancial en la captura de similitudes emocionales en todas las categorías de videos.
• Esto indica que los MLLM pueden inferir experiencias emocionales humanas a un nivel de categoría gruesa, lo que refleja una amplia comprensión de los paisajes emocionales.

Conclusiones:

• Los MLLM actuales de última generación capturan ampliamente la estructura compleja y de alta dimensión de las emociones humanas a un nivel de categoría gruesa.
• Los MLLM exhiben limitaciones en la captura precisa de la estructura emocional completa en el estricto nivel de un solo elemento.
• Estos hallazgos destacan los límites potenciales y actuales de los MLLM en la comprensión y modelado de los estados afectivos humanos.