Red de restauración auxiliar unificada para la detección multimodal de objetos 3D en condiciones adversas

Área de la Ciencia:

• Visión por computadora
• Sistemas de conducción autónomos
• Fusión de los sensores

Sus antecedentes:

• La detección de objetos 3D multimodal utilizando LiDAR y sensores de cámara es prometedora, pero tiene dificultades con las variaciones del mundo real.
• Los métodos de fusión existentes se degradan significativamente en condiciones adversas (por ejemplo, nubes de puntos escasas, clima inclemente).

Objetivo del estudio:

• Desarrollar un nuevo enfoque para la detección de objetos 3D multimodal robusta en condiciones ambientales difíciles.
• Introducir redes de restauración auxiliares para mejorar la calidad de los datos de los sensores degradados.

Principales métodos:

• Propuso la primera aplicación de redes de restauración auxiliares en la detección de objetos 3D multimodal.
• Desarrolló un upsampler de punto de dominio esférico y una red de ajuste con alineación horizontal.
• Se introdujo un detector gráfico con una función de pérdida unificada (pérdidas auxiliares, de contraste y de dificultad) para una fusión eficiente.

Principales resultados:

• El método propuesto evita efectivamente la degradación del rendimiento en condiciones adversas.
• Demostró un rendimiento superior en comparación con los métodos más avanzados en escenarios difíciles.
• Lograr características de mayor calidad mediante la restauración unificada de la nube de puntos y los datos de imagen.

Conclusiones:

• Las redes de restauración auxiliares ofrecen una solución viable para mejorar la robustez de la detección de objetos 3D multimodal.
• El nuevo upsampler, la red de ajuste y el detector de gráficos contribuyen a mejorar el rendimiento en condiciones adversas.
• El enfoque proporciona un avance significativo para los sistemas de percepción de conducción autónoma confiables.