Transformadores de visión esférica para la predicción de saliencia audiovisual en vídeos de 360°

Área de la Ciencia:

• Visión por computadora
• Realidad virtual
• Interacción hombre-ordenador

Sus antecedentes:

• Los videos omnidireccionales (ODV) ofrecen experiencias inmersivas de realidad virtual (VR) con un campo de visión completo (FOV).
• La predicción de la saliencia visual en entornos de 360 ° presenta desafíos únicos debido a la distorsión esférica y la integración del audio espacial.
• Los conjuntos de datos existentes carecen de datos audiovisuales completos para la predicción de la saliencia de 360°.

Objetivo del estudio:

• Extender la predicción de saliencia a entornos de video de 360° abordando la distorsión esférica y la integración de audio espacial.
• Desarrollar y evaluar nuevos modelos para la predicción de la saliencia audiovisual en los ODV.
• Introducir un nuevo conjunto de datos, el YT360-EyeTracking, para la formación y evaluación de modelos de predicción de saliencia de 360°.

Principales métodos:

• Curó el conjunto de datos de YT360-EyeTracking que incluye 81 ODV con diferentes condiciones audiovisuales.
• Se propuso SalViT360, un modelo de transformador de visión con atención a la geometría esférica para ODV.
• Desarrollado SalViT360-AV, una extensión que incorpora adaptadores de transformador condicionados a la entrada de audio.

Principales resultados:

• SalViT360 y SalViT360-AV superan significativamente los métodos existentes en los conjuntos de datos de referencia, incluido el seguimiento ocular de YT360.
• Demostró la efectividad de la incorporación de señales de audio espaciales para mejorar la precisión de la predicción de saliencia.
• Valida la capacidad de los modelos para predecir la atención del espectador en escenas complejas de 360 °.

Conclusiones:

• La integración de audio espacial es crucial para una predicción precisa de la saliencia en videos omnidireccionales.
• Los modelos propuestos SalViT360 y SalViT360-AV representan avances significativos en la predicción de la atención visual a 360°.
• El conjunto de datos de seguimiento ocular de YT360 facilita una mayor investigación sobre la saliencia audiovisual para medios inmersivos.