LGMMFusion: Un marco de fusión multimodal guiado por LiDAR para la detección mejorada de objetos 3D

Área de la Ciencia:

• Visión por computadora
• Sistemas de conducción autónomos
• Fusión de los sensores

Sus antecedentes:

• La detección de objetos pequeños es crucial para la seguridad de la conducción autónoma.
• Los métodos actuales de fusión multimodal a menudo procesan los datos del sensor por separado, lo que limita el rendimiento.
• Los desafíos incluyen datos LiDAR escasos y características de imagen de baja resolución.

Objetivo del estudio:

• Proponer un nuevo marco de fusión multimodal guiado por LiDAR (LGMMfusion) para mejorar la detección de objetos.
• Para mejorar la correlación de características entre LiDAR y los datos de la cámara antes de la fusión.
• Para abordar específicamente los desafíos de la detección de objetos pequeños en la conducción autónoma.

Principales métodos:

• Aprovechar la información de profundidad LiDAR para guiar la generación de características de visión de pájaro (BEV).
• Promover la interacción espacial entre las nubes de puntos y los píxeles antes de la fusión de características BEV.
• Utilizando mecanismos de autoatención y atención cruzada adaptativa para la alineación de características.
• Fusión de las características mejoradas de LiDAR BEV y BEV de imagen para la cabeza de detección.

Principales resultados:

• LGMMfusion alcanzó el 71,1% de NDS y el 67,3% de mAP en el conjunto de validación de nuScenes.
• Demostró una detección mejorada de objetos pequeños.
• Mostró una mayor precisión de detección para la mayoría de las categorías de objetos.

Conclusiones:

• LGMMfusion mejora efectivamente la fusión de datos multimodal para la detección de objetos en la conducción autónoma.
• El enfoque guiado por LiDAR propuesto mejora la representación de características y el rendimiento de detección, especialmente para objetos pequeños.
• Este marco ofrece una dirección prometedora para sistemas de percepción robustos.