Visión automotriz de baja latencia con cámaras de eventos

Área de la Ciencia:

• Visión por computadora
• La robótica
• Fusión de los sensores

Sus antecedentes:

• Los sistemas avanzados de asistencia al conductor (ADAS) actuales se basan en cámaras RGB, enfrentando compensaciones de ancho de banda y latencia.
• Las cámaras de eventos ofrecen alta resolución temporal y escasez, reduciendo el ancho de banda y la latencia.
• Los algoritmos de cámaras de eventos existentes luchan por igualar la precisión de los sistemas basados en imágenes o sacrifican la eficiencia.

Objetivo del estudio:

• Desarrollar un sistema híbrido de detección de objetos que combine cámaras basadas en eventos y fotogramas.
• Para superar la precisión-eficiencia de la compensación en los algoritmos actuales de la cámara de eventos.
• Aprovechar las fortalezas de las cámaras de eventos y RGB para mejorar la percepción de ADAS.

Principales métodos:

• Propuso un detector de objetos híbrido que integra los datos de la cámara de eventos y RGB.
• Se explotó la alta resolución temporal y la escasez de datos de eventos.
• Utilizó información rica y de baja resolución temporal de imágenes estándar.

Principales resultados:

• Lograr detecciones de objetos de alta velocidad con latencia perceptiva y computacional reducida.
• Demostró que una cámara RGB de 20 fps más una cámara de eventos coincide con la latencia de la cámara de 5,000 fps.
• Precisión mantenida comparable a los sistemas de alta velocidad de fotogramas con un ancho de banda significativamente menor (45 fps).

Conclusiones:

• El enfoque híbrido combina efectivamente los beneficios de la visión basada en eventos y marcos.
• Este método ofrece una solución eficiente y robusta para la percepción en ADAS.
• Desbloquea el potencial de las cámaras de eventos para una asistencia de conducción de alto rendimiento en tiempo real.