Edición de escenas 3D mediante indicaciones de texto sin reentrenamiento

Área de la Ciencia:

• Visión por Computadora
• Gráficos 3D
• Inteligencia Artificial

Sus antecedentes:

• Los modelos de difusión han avanzado en la síntesis y edición de imágenes 2D.
• Extenderlos a la edición de escenas 3D enfrenta desafíos en la representación de escenas y la consistencia multivista.
• Los métodos existentes a menudo requieren módulos específicos de la escena y reentrenamiento para cada tarea de edición.

Objetivo del estudio:

• Proponer un método versátil de edición de escenas 3D impulsado por texto (DN2N).
• Permitir la edición directa de escenas 3D sin reentrenamiento del modelo.
• Abordar los problemas de consistencia multivista en la edición de escenas 3D impulsada por texto.

Principales métodos:

• Utiliza modelos de edición basados en texto 2D listos para usar en imágenes multivista de una escena 3D.
• Aplica filtrado de contenido para mantener la consistencia 3D.
• Desarrolla una estructura de modelo versátil de Campos de Radiancia Neuronal (NeRF) con nuevos términos de regularización entre vistas para mitigar las perturbaciones.

Principales resultados:

• Demuestra múltiples tipos de edición mediante indicaciones de texto, incluyendo cambios de apariencia, transiciones climáticas, reemplazo de objetos y transferencia de estilo.
• Logra capacidades de edición versátiles sin personalización ni reentrenamiento específico del modelo por escena o tipo de edición.
• Muestra un tiempo de edición comparable a los métodos existentes basados en 3D Gaussian Splatting (3DGS), mejorando la aplicabilidad práctica.

Conclusiones:

• DN2N ofrece una solución versátil y eficiente para la edición de escenas 3D impulsada por texto.
• El método supera las limitaciones de los enfoques existentes al eliminar la necesidad de reentrenamiento y módulos especializados.
• DN2N mejora el valor práctico de la edición de escenas 3D a través de su amplia aplicabilidad y rendimiento comparable.