T360Fusion: Fusión multimodal temporal 360 para la detección de objetos 3D a través de transformadores

Área de la Ciencia:

• Robótica y sistemas autónomos
• Visión por computadora
• Fusión de los sensores

Sus antecedentes:

• La detección de objetos es crucial para la conducción autónoma, utilizando sensores como LiDAR, RGB y cámaras térmicas.
• Los sensores individuales tienen limitaciones: las cámaras RGB luchan con poca iluminación, mientras que LiDAR carece de una alta resolución espacial.
• Las cámaras térmicas ofrecen una percepción robusta en baja visibilidad, complementando a otros sensores.

Objetivo del estudio:

• Proponer un nuevo método de fusión de sensores multimodal para la conducción autónoma.
• Para integrar LiDAR, 360 RGB y 360 cámaras térmicas para superar las limitaciones de los sensores individuales.
• Para mejorar la precisión de detección de objetos, la cobertura espacial y la robustez.

Principales métodos:

• Se emplea una estrategia de fusión a nivel de características.
• Múltiples cuadros LiDAR se acumulan temporalmente y se sincronizan.
• Integración de RGB de 360 grados y datos de imágenes térmicas.

Principales resultados:

• El método propuesto mejora significativamente la precisión de la detección de objetos.
• La mejora de la cobertura espacial y la robustez se logran mediante la fusión de sensores.
• Se proporciona una conciencia ambiental integral, reduciendo los puntos ciegos.

Conclusiones:

• La fusión de sensores multimodal aborda efectivamente las limitaciones de los sensores individuales en la conducción autónoma.
• El nuevo método de fusión mejora las capacidades de percepción, particularmente en escenas complejas y dinámicas.
• Este enfoque contribuye a una navegación autónoma más segura y fiable.