MovieChat +: Memoria escasa consciente de las preguntas para responder preguntas de video largas

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los sistemas actuales de comprensión de video luchan con videos largos debido a los altos costos computacionales y de memoria para la extracción de características temporales.
• Los métodos existentes a menudo requieren módulos espaciotemporales complejos o modelos de percepción adicionales, lo que limita el rendimiento en el contenido extendido.

Objetivo del estudio:

• Desarrollar un método eficiente para la comprensión de vídeos largos abordando las limitaciones de los enfoques actuales.
• Aprovechar el modelo de memoria de Atkinson-Shiffrin para mejorar la representación de características temporales en el análisis de video.

Principales métodos:

• Proponiendo MovieChat, un sistema que emplea a los Transformers como portadores de memoria dentro de un mecanismo de consolidación de memoria sin entrenamiento.
• Implementar la fusión temporal de cuadros adyacentes para transferir datos de video densos en tokens de memoria a largo plazo.
• Presentando MovieChat +, con un mecanismo mejorado de coincidencia de preguntas de visión para un mejor anclaje de contenido visual.

Principales resultados:

• MovieChat logra un rendimiento de vanguardia en las tareas de comprensión de videos largos.
• Eficacia demostrada del enfoque de disparo cero en la adaptación de modelos multimodales previamente entrenados para vídeos largos.
• Lanzó el punto de referencia de MovieChat-1K, que comprende videos de 1K de largo con anotaciones extensas.

Conclusiones:

• MovieChat ofrece una solución efectiva y computacionalmente eficiente para entender videos largos.
• El mecanismo de consolidación de memoria propuesto supera con éxito los desafíos asociados con las conexiones temporales a largo plazo.
• MovieChat y MovieChat + representan avances significativos en la comprensión de videos largos de tiro cero.