NaviNeRF ++: Hacia la reconstrucción 3D interpretable a través del aprendizaje de representación desenredada sin...

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Aprendizaje automático

Sus antecedentes:

• La reconstrucción 3D es crucial para la interacción del mundo real de la IA, pero enfrenta desafíos en la comprensión semántica y la dependencia previa.
• Los métodos existentes luchan con la interpretación de la semántica de los datos 3D y requieren un amplio conocimiento previo para el control.

Objetivo del estudio:

• Para proponer NaviNeRF ++, un marco de reconstrucción 3D interpretable.
• Para abordar las limitaciones en la comprensión semántica y la dependencia previa en la reconstrucción 3D.
• Para lograr un desenredo tridimensional de grano fino y una reconstrucción de alta calidad.

Principales métodos:

• Integración de modelos multimodales de lenguaje grande (MLLM) y campos de radiación neuronal (NeRF).
• Un módulo de percepción 2D ligero para un espacio latente desenredado, informado por un modelo de aprendizaje de representación desenredada (DRL) previamente entrenado.
• Un módulo de navegación 3D basado en NeRF para el descubrimiento de factores semánticos y la reconstrucción de alta calidad.
• Un módulo de identificación de atributos que aprovecha las MLLM para la identificación de conceptos textuales de factores semánticos.

Principales resultados:

• El marco logra una reconstrucción 3D interpretable y un desenmarañamiento 3D de grano fino de una manera no supervisada.
• Conserva una reconstrucción 3D de alta calidad y consistente con la vista.
• Demuestra un rendimiento superior en comparación con las soluciones existentes en las evaluaciones empíricas.

Conclusiones:

• NaviNeRF ++ ofrece un nuevo enfoque para la reconstrucción 3D sin supervisión e interpretable.
• La integración de MLLM y NeRF avanza en el campo de la semántica 3D y el desenredamiento.
• Este marco proporciona una solución robusta para la comprensión e interacción de la IA con entornos 3D.