MERBench: Un punto de referencia unificado para el reconocimiento multimodal de emociones

Área de la Ciencia:

• Interacción Humano-Computadora
• Computación Afectiva
• Aprendizaje Automático

Sus antecedentes:

• El reconocimiento multimodal de emociones es crucial para mejorar la experiencia del usuario en la interacción humano-computadora.
• La investigación actual enfrenta desafíos debido a la extracción de características inconsistentes, protocolos de evaluación y configuraciones experimentales, lo que dificulta las comparaciones justas.
• Esta inconsistencia obstaculiza el avance general del campo.

Objetivo del estudio:

• Introducir MERBench, un punto de referencia de evaluación unificado para el reconocimiento multimodal de emociones.
• Evaluar técnicas clave como la selección de características, la fusión multimodal, el análisis de robustez, el ajuste fino y el preentrenamiento.
• Proporcionar una guía clara para la investigación futura e identificar direcciones prometedoras.

Principales métodos:

• Desarrollo de MERBench, un marco de evaluación estandarizado.
• Evaluación de técnicas comunes dentro del marco MERBench.
• Introducción del conjunto de datos MER2023 para el reconocimiento de emociones en el idioma chino.

Principales resultados:

• MERBench permite comparaciones justas y completas de algoritmos de reconocimiento multimodal de emociones.
• Los resultados de la evaluación resaltan vías de investigación prometedoras.
• El conjunto de datos MER2023 apoya la investigación en aprendizaje multietiqueta, robusto al ruido y semisupervisado.

Conclusiones:

• MERBench aborda la necesidad crítica de una evaluación estandarizada en el reconocimiento multimodal de emociones.
• El punto de referencia y el nuevo conjunto de datos acelerarán el progreso en el campo.
• Se alienta a los investigadores a adoptar MERBench para obtener resultados consistentes y reproducibles.