Replantear las anotaciones de emociones en la era de los modelos de lenguaje grandes

Área de la Ciencia:

• Computación afectiva
• Procesamiento del lenguaje natural
• Interacción humano-computadora

Sus antecedentes:

• Los sistemas de computación afectiva requieren extensos conjuntos de datos de emociones anotados por humanos para entrenamiento y evaluación.
• La anotación humana es costosa, subjetiva y difícil de controlar la calidad.
• Los modelos de lenguaje grandes (LLM) demuestran un fuerte rendimiento en tareas de comprensión del lenguaje natural, lo que sugiere potencial para la anotación automatizada.

Objetivo del estudio:

• Analizar las complejidades de la anotación de emociones utilizando LLM, específicamente GPT-4.
• Evaluar el rendimiento de GPT-4 en la percepción de emociones en comparación con los anotadores humanos.
• Explorar métodos para integrar GPT-4 en los flujos de trabajo de anotación de emociones para mejorar la eficiencia y la calidad.

Principales métodos:

• Se realizaron experimentos utilizando GPT-4 para la anotación de emociones.
• Se llevaron a cabo estudios de evaluación humana para comparar las anotaciones de GPT-4 con las etiquetas humanas.
• Se investigaron dos estrategias de integración para LLM en flujos de trabajo de anotación de emociones.

Principales resultados:

• GPT-4 obtuvo altas calificaciones en la evaluación humana, superando los puntos de referencia anteriores donde solo las etiquetas humanas eran la verdad fundamental.
• Se observaron discrepancias entre la percepción de emociones humana y la de GPT-4, lo que resalta la necesidad de supervisión humana.
• Se demostró el potencial de GPT-4 para identificar etiquetas de baja calidad, disminuir la carga de trabajo de los anotadores humanos y mejorar el rendimiento de los modelos posteriores.

Conclusiones:

• Los LLM, particularmente GPT-4, pueden ayudar significativamente a los anotadores humanos en tareas de etiquetado de emociones.
• Un enfoque híbrido que combina las capacidades de LLM con el juicio humano ofrece una dirección prometedora para las prácticas futuras de anotación de emociones.
• Los hallazgos sugieren métodos novedosos para el etiquetado de emociones, aprovechando los LLM para mejorar la eficiencia y la precisión en la computación afectiva.