Analizar, Alinear y Agregar: Razonamiento Composicional Dirigido por Grafos para la Respuesta a Preguntas de Vídeo

Área de la Ciencia:

• Inteligencia Artificial
• Visión por Computadora
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los modelos de lenguaje grandes multimodales (MLLM) en la Respuesta a Preguntas de Vídeo (VideoQA) a menudo carecen de transparencia y verificabilidad en sus procesos de razonamiento.
• Los puntos de referencia existentes de VideoQA se centran principalmente en la precisión de la respuesta final, descuidando el análisis de los pasos de razonamiento subyacentes.

Objetivo del estudio:

• Desarrollar un marco novedoso, QPVA3 (Análisis de Preguntas, Alineación de Vídeo y Agregación de Respuestas), para mejorar la transparencia y la verificabilidad en VideoQA.
• Introducir nuevas métricas para evaluar la consistencia composicional en el razonamiento de VideoQA.
• Crear un punto de referencia integral de VideoQA (QPVA3Bench) con anotaciones detalladas de razonamiento.

Principales métodos:

• El marco QPVA3 utiliza un grafo composicional para guiar el razonamiento visual y lógico, que comprende un planificador, un ejecutor y un razonador.
• El planificador descompone las preguntas en un grafo composicional, el ejecutor alinea el contenido del vídeo y responde sub-preguntas, y el razonador agrega las respuestas basándose en la lógica de razonamiento y la evidencia visual.
• Se desarrollaron métricas novedosas de consistencia composicional para evaluar el proceso de razonamiento.

Principales resultados:

• El marco QPVA3 demostró una mayor consistencia y precisión en comparación con las líneas de base existentes en tareas de VideoQA.
• El marco propuesto conduce a un sistema VideoQA más transparente y verificable.
• QPVA3Bench proporciona un recurso valioso para evaluar y avanzar en el razonamiento de VideoQA.

Conclusiones:

• El marco QPVA3 ofrece un avance significativo en la creación de sistemas VideoQA más transparentes y verificables.
• El enfoque dirigido por grafos composicionales mejora la interpretabilidad del razonamiento de las máquinas en contenido de vídeo complejo.
• El punto de referencia y las métricas desarrollados facilitan la investigación futura sobre las capacidades de razonamiento de los MLLM para VideoQA.