Fusión multimodal consciente de la geometría para la comprensión de escenas 3D a gran escala.

Área de la Ciencia:

• Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador
• Robótica y Robótica Robótica y Robótica Robótica Robótica Robótica Robótica Robótica Robótica
• Análisis de datos geoespaciales y análisis de datos.

Sus antecedentes:

• La segmentación semántica 3D multimodal es vital para la ingeniería, pero es desafiada por la geometría compleja, las variaciones de escala y los datos LiDAR escasos.
• Los métodos existentes luchan con la complejidad de la escena del mundo real y la escasez de datos, lo que limita las aplicaciones en sistemas autónomos y visualización 3D.

Objetivo del estudio:

• Desarrollar un método de comprensión 3D multimodal robusto y eficiente que aborde los desafíos en la segmentación semántica basada en LiDAR.
• Mejorar la discriminación semántica en regiones 3D dispersas mediante la fusión de datos LiDAR y de imágenes.

Principales métodos:

• Un extractor de características 3D de doble vía con codificación basada en la posición para estructuras espaciales.
• Un módulo de agregación adaptativa consciente de la geometría que utiliza núcleos aprendizables y ponderación híbrida.
• Fusión de nubes de puntos LiDAR con características de imagen óptica pasiva.

Principales resultados:

• Se logró la inferencia en tiempo real (25ms/muestra) con un marco ligero (parámetros 5.2M).
• Desempeño competitivo demostrado en Semantic3D, SemanticKITTI (71,2% mIoU) y nuScenes, superando a RandLA-Net en un 15,3% en SemanticKITTI.
• Eficacia validada en nubes de puntos de color del mundo real para la estructuración semántica del entorno al aire libre.

Conclusiones:

• El método de fusión de geometría adaptativa propuesto ofrece una comprensión 3D multimodal robusta y eficiente.
• Las capacidades ligeras y en tiempo real permiten el despliegue en plataformas de visualización y detección con recursos limitados.
• Proporciona con éxito representaciones 3D estructuradas semánticamente para aplicaciones posteriores como la visualización 3D.