Red de Generación Correlacionada de Emociones Subjetivas-Objetivas para Subtitulado Subjetivo de Videos

Área de la Ciencia:

• Ciencias de la Computación
• Inteligencia Artificial
• Procesamiento Multimedia

Sus antecedentes:

• El subtitulado de videos emocionales (EVC) se enfoca en descripciones objetivas a partir de señales visuales.
• Los métodos EVC existentes descuidan las respuestas emocionales personalizadas de los espectadores.
• Existe una brecha en la comprensión de las experiencias afectivas subjetivas en el contenido de video.

Objetivo del estudio:

• Introducir y abordar la novedosa tarea de Subtitulado Subjetivo de Videos (SVC).
• Generar subtítulos emocionales que reflejen las reacciones emocionales personalizadas de los espectadores.
• Cerrar la brecha entre la percepción objetiva de las emociones y la comprensión afectiva subjetiva.

Principales métodos:

• Se propuso la Red de Generación Correlacionada de Emociones Subjetivas-Objetivas (SO-ECGN).
• Se utilizó atención de máscara dinámica y cambio de dominio de emoción para el aprendizaje de emociones objetivas.
• Se desarrolló un módulo de correlación de emociones subjetivas-objetivas para la guía adaptativa de emociones.
• Se implementó un decodificador correlacionado con la emoción para generar subtítulos subjetivos.

Principales resultados:

• SO-ECGN demostró un rendimiento superior en conjuntos de datos desafiantes.
• Se logró un 79,2% en BLEU-1 y un 45,1% en métricas CIDEr en el conjunto de datos EmVidCap-L.
• Validación de la efectividad de los módulos individuales dentro del marco SO-ECGN.

Conclusiones:

• El SO-ECGN propuesto genera eficazmente subtítulos emocionales subjetivos.
• SVC es una dirección prometedora para la comprensión personalizada de videos.
• El enfoque integra con éxito información fáctica y emocional para mejorar el subtitulado.