Una red de fusión de rutas a escala multimodal guiada por texto para el análisis multimodal de sentimientos

Área de la Ciencia:

• Inteligencia artificial
• Ciencias de la computación
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los métodos actuales de análisis multimodal de sentimientos (MSA) tienen dificultades con escalas fijas y no logran suprimir la información no lingüística redundante.
• Esto limita el modelado dinámico de características emocionales y dificulta las mejoras de rendimiento.

Objetivo del estudio:

• Proponer una novedosa Red de Fusión de Rutas a Escala Multimodal Guiada por Texto (TMSPF-Net) para abordar las limitaciones de los métodos actuales de MSA.
• Modelar dinámicamente las características emocionales en diferentes escalas y suprimir la información redundante en modalidades no lingüísticas.

Principales métodos:

• El TMSPF-Net utiliza un Transformador Adaptativo Multiescala (MAT) para capturar interacciones intra e intermodales en varias escalas.
• Un Módulo de Eliminación de Conflictos Guiado por Texto (TGCEM) filtra las señales conflictivas en modalidades no lingüísticas utilizando la guía de texto.
• Un Módulo de Fusión de Canales integra características para el análisis final de sentimientos utilizando un modelo de lenguaje preentrenado.

Principales resultados:

• TMSPF-Net demostró un rendimiento superior en la mayoría de las métricas en los conjuntos de datos MOSI y MOSEI en comparación con los métodos del estado del arte.
• El modelo guió eficazmente el aprendizaje de modalidades no lingüísticas e integró características de sentimiento de múltiples niveles.

Conclusiones:

• TMSPF-Net ofrece un enfoque flexible y eficaz para el análisis multimodal de sentimientos al integrar dinámicamente características multiescala.
• El método propuesto muestra un potencial significativo para avanzar en la investigación y las aplicaciones del análisis de sentimientos.