Denombramiento Cruzado Adaptativo: Mejora de la Percepción de Fusión LiDAR-Cámara en Circunstancias Adversas

Área de la Ciencia:

• Robótica e Inteligencia Artificial
• Fusión de Sensores y Percepción
• Visión por Computadora

Sus antecedentes:

• Los vehículos autónomos (VA) dependen de los sensores LiDAR y de cámara para la percepción del entorno.
• Las condiciones climáticas adversas como lluvia, nieve y niebla degradan el rendimiento del sensor, introduciendo ruido y reduciendo la fiabilidad.
• Los métodos de denombramiento actuales a menudo se centran en tipos de sensores individuales, sin explotar los datos multimodales complementarios.

Objetivo del estudio:

• Desarrollar un marco avanzado de denombramiento para datos de sensores multimodales en condiciones climáticas adversas.
• Mejorar la fiabilidad y seguridad de los vehículos autónomos en condiciones ambientales desafiantes.
• Aprovechar la relación sinérgica entre los datos de LiDAR y cámara para mejorar la percepción.

Principales métodos:

• Se propuso un novedoso marco de Denombramiento Cruzado Adaptativo (ACMD).
• Se utilizaron codificadores de auto-denombramiento específicos de modalidad y un Controlador de Puente Adaptativo (ABC) para la evaluación del ruido y la guía intermodal.
• Se incorporó un módulo de Denombramiento Cruzado (CMD) para el refinamiento semántico de los datos del sensor ruidosos.

Principales resultados:

• ACMD superó significativamente a los métodos de denombramiento unimodal (Restormer, PathNet, BM3D, PointCleanNet) en un 28,2% en PSNR y un 33,3% en CD.
• ACMD logró una mejora del 16,2% en JDE en comparación con los modelos de fusión de última generación.
• La validación experimental se realizó en el conjunto de datos WeatherKITTI utilizando ruido añadido sintéticamente.

Conclusiones:

• El marco ACMD aborda eficazmente el ruido de los sensores multimodales en condiciones climáticas adversas.
• La mejora de la calidad de los datos del sensor contribuye directamente a mejorar la fiabilidad y la seguridad operativa de los VA.
• Este enfoque allana el camino para sistemas de conducción autónoma más robustos en diversas condiciones ambientales.