Fusion3DGS de extremo a extremo: segmentación 3D multimodal eficiente en etiquetas basada en Gaussian Splatting

Área de la Ciencia:

• Visión por Computadora
• Robótica
• Aprendizaje Automático

Sus antecedentes:

• La segmentación 3D precisa de instancias es crucial para los sistemas incorporados, pero depende de costosas anotaciones de nubes de puntos 3D.
• Los métodos actuales enfrentan desafíos en la escalabilidad entre diferentes sensores y entornos debido a los costos de adquisición de datos.

Objetivo del estudio:

• Desarrollar un marco eficiente en etiquetas para la segmentación 3D de instancias utilizando datos 2D fácilmente disponibles.
• Abordar el cuello de botella de las anotaciones 3D densas en los sistemas de percepción actuales.

Principales métodos:

• Introdujo Fusion3DGS, un marco de extremo a extremo que acopla 3D Gaussian Splatting con procesamiento neuronal 2D-3D.
• Utilizó imágenes RGB multivista con máscaras 2D de instancias para optimizar una representación compacta de la escena gaussiana anisotrópica.
• Empleó una pila de fusión de atención cruzada consciente de la oclusión para el razonamiento de instancias, incorporando un bloqueo de intercambio de pesos y un objetivo de consistencia de renderizado.

Principales resultados:

• Logró una segmentación 3D de instancias eficiente en etiquetas a partir de máscaras 2D de instancias, lo que redujo significativamente los requisitos de anotación.
• Demostró una fidelidad de límites mejorada bajo oclusión y puntos de vista variables a través de la consistencia de renderizado.
• Validó la practicidad del marco para la implementación a gran escala utilizando datos RGB ampliamente disponibles.

Conclusiones:

• Fusion3DGS ofrece una solución práctica para la segmentación 3D de instancias al superar las limitaciones de los datos 3D densos.
• La capacidad del marco para aprender de la supervisión 2D lo hace escalable y adaptable para diversas aplicaciones de IA incorporada.