Red de refinación guiada por texto jerárquico para el análisis multimodal de sentimientos

Área de la Ciencia:

• Inteligencia artificial
• Ciencias de la computación
• Procesamiento del lenguaje natural

Sus antecedentes:

• El análisis de sentimiento multimodal (MSA) integra texto, audio y video para una mejor comprensión.
• Los métodos existentes luchan por alinear las características no textuales y mitigar la redundancia de información.

Objetivo del estudio:

• Proponer una nueva red de refinación guiada por texto jerárquico (HTRN, por sus siglas en inglés) para mejorar la MSA.
• Mejorar las interacciones intermodales y suprimir las señales irrelevantes en los datos multimodales.

Principales métodos:

• El marco HTRN refina y alinea las modalidades no textuales utilizando representaciones textuales jerárquicas.
• Shuffle-Insert Fusion (SIF) interrumpe las correlaciones locales para las representaciones generalizadas.
• La capa de alineación guiada por texto (TAL, por sus siglas en inglés) utiliza semántica textual para guiar el refinamiento audiovisual a través de factores de entrada aprendizables.

Principales resultados:

• HTRN logró una precisión del estado de la técnica: 86,3% (CMU-MOSI), 86,7% (CMU-MOSEI) y 80,3% (CH-SIMS).
• Las mejoras de rendimiento oscilaron entre el 0,8 y el 3,45% con respecto a los métodos existentes.
• Los estudios de ablación confirmaron que SIF y TAL contribuyeron con ganancias de rendimiento del 1,9-2,1%.

Conclusiones:

• El marco HTRN aborda eficazmente los desafíos de la alineación multimodal y la redundancia.
• Los métodos propuestos mejoran significativamente el rendimiento del análisis multimodal del sentimiento.
• HTRN establece un marco sólido para el aprendizaje de la representación multimodal.