DAST-GAN: Un modelo de análisis de sentimiento multimodal basado en aprendizaje adversario con atención dinámica y...

Área de la Ciencia:

• Inteligencia Artificial
• Procesamiento del Lenguaje Natural
• Aprendizaje Automático

Sus antecedentes:

• El análisis de sentimiento multimodal (MSA) tiene dificultades con las correlaciones intermodales en secuencias no alineadas y datos faltantes.
• Los métodos existentes a menudo no logran capturar dependencias dinámicas y manejar entradas ruidosas o incompletas de manera efectiva.

Objetivo del estudio:

• Proponer DAST-GAN, un marco que aborda las limitaciones en MSA, particularmente en el modelado de correlaciones intermodales y el manejo de modalidades faltantes.
• Mejorar la robustez y precisión de los modelos de análisis de sentimiento utilizando atención dinámica y entrenamiento adversario.

Principales métodos:

• Desarrolló un Módulo de Atención Dinámica (DAM) para la ponderación adaptativa de características intermodales basada en el contexto semántico.
• Implementó un mecanismo unificado de atención espaciotemporal (STA) para capturar correlaciones temporales intramodales y espaciales intermodales.
• Utilizó una estrategia de entrenamiento adversario basada en Redes Generativas Adversarias (GAN) para mejorar la robustez de la representación con datos incompletos, complementada con optimización de doble vía.

Principales resultados:

• DAST-GAN logró resultados muy competitivos en los conjuntos de datos CMU-MOSI, CMU-MOSEI y CH-SIMS.
• Demostró una reducción significativa en el Error Absoluto Medio: 2.6% en CMU-MOSI (modalidad completa) y 3.76% en CMU-MOSEI (modalidad incompleta).
• Los estudios de ablación confirmaron la efectividad del Módulo de Atención Dinámica, la atención espaciotemporal y los componentes GAN.

Conclusiones:

• DAST-GAN modela eficazmente las correlaciones intermodales y maneja las modalidades faltantes en MSA.
• El marco propuesto muestra una gran precisión y robustez, superando a los métodos de referencia existentes.
• La combinación sinérgica de DAM, STA y GAN contribuye significativamente a mejorar el rendimiento en el análisis de sentimiento multimodal.