ADVersa: Accidente de conducción por abducción video comprensión de accidentes de conducción

Área de la Ciencia:

• Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador
• Aprendizaje automático Aprendizaje automático.
• La inteligencia artificial es inteligencia artificial.

Sus antecedentes:

• El análisis de accidentes de tráfico es crucial para la conducción segura, pero se ve obstaculizado por la escasez de datos fragmentados y entornos complejos.
• La comprensión de las causas de los accidentes y la dinámica de casi accidente sigue siendo un desafío importante en la investigación basada en la visión.

Objetivo del estudio:

• Para presentar un nuevo marco, Abductive Driving accident Video understanding (ADVersa), para inferir explicaciones de escenas cercanas al choque.
• Introducir el conjunto de datos Multimodal Accident video Understanding (MM-AU) para el análisis integral de videos de accidentes.
• Desarrollar modelos avanzados para tareas multimodal de video comprensión de accidentes.

Principales métodos:

• El marco ADVersa para la recuperación visual del pasado, la predicción visual y la síntesis de causas de accidentes de escenas cercanas al accidente.
• Introducción del conjunto de datos MM-AU con 11.727 videos, texto alineado, cajas de objetos y textos de causas de accidentes.
• Desarrollo de modelos de CLIP abductivo y de video de grafo contrastivo de capacitación previa (CGVP) que utilizan el aprendizaje semántico intermodal consciente de la relación.

Principales resultados:

• ADVersa demuestra un rendimiento superior sobre los métodos de última generación en la recuperación del marco histórico, la predicción del marco futuro y el razonamiento de la causa del accidente.
• Los modelos propuestos logran avances en la síntesis de video de normal a accidente y en la edición de video de accidentes.
• Validación de la efectividad del marco en diversas tareas de comprensión de video de accidentes.

Conclusiones:

• ADVersa ofrece una solución robusta para la comprensión multimodal de video de accidentes, abordando la escasez y la complejidad de los datos.
• El conjunto de datos MM-AU y los modelos propuestos contribuyen significativamente al avance de la investigación en conducción segura basada en la visión.
• Este trabajo allana el camino para un mejor análisis y prevención de accidentes a través de capacidades mejoradas de IA.