ReconX: Reconstruye cualquier escena a partir de vistas dispersas con un modelo de difusión de vídeo

Área de la Ciencia:

• Visión por Computadora
• Gráficos 3D
• Inteligencia Artificial

Sus antecedentes:

• La reconstrucción de modelos 3D a partir de imágenes 2D muestra un gran éxito en escenarios de vistas densas.
• La reconstrucción 3D de vistas dispersas sigue siendo un problema mal planteado, lo que genera artefactos y distorsiones.

Objetivo del estudio:

• Proponer ReconX, un nuevo paradigma para la reconstrucción de escenas 3D a partir de vistas dispersas.
• Abordar el desafío de la consistencia de vistas 3D en modelos generativos para la reconstrucción.

Principales métodos:

• Replantear la reconstrucción de vistas dispersas como una tarea de generación temporal utilizando modelos de difusión de vídeo preentrenados.
• Codificar una nube de puntos global como una condición de estructura 3D para guiar la síntesis de fotogramas de vídeo.
• Emplear la Mapeo Gaussiano 3D (3D Gaussian Splatting) consciente de la confianza para la recuperación final de la escena 3D a partir del vídeo generado.

Principales resultados:

• ReconX sintetiza fotogramas de vídeo con preservación de detalles y alta consistencia 3D a partir de vistas de entrada limitadas.
• El método supera eficazmente los artefactos y las distorsiones comunes en la reconstrucción de vistas dispersas.
• Demuestra una calidad y generalización superiores en comparación con los métodos de vanguardia en conjuntos de datos del mundo real.

Conclusiones:

• ReconX ofrece un nuevo y potente enfoque para la reconstrucción de escenas 3D a partir de vistas dispersas.
• El aprovechamiento de los *priors* generativos de los modelos de difusión de vídeo mejora la precisión y la consistencia de la reconstrucción.
• El método propuesto avanza el campo de la reconstrucción 3D, particularmente para escenarios desafiantes de vistas dispersas.