EstilizadoGS: Estilización controlable para el salpicado gaussiano 3D

Área de la Ciencia:

• Visión por computadora
• Gráficos por computadora
• Inteligencia artificial

Sus antecedentes:

• La generación y edición 3D son vitales para el avance de la tecnología XR.
• Los métodos de estilización 3D basados en campos de radiación neural (NeRF) se enfrentan a limitaciones de eficiencia y precisión geométrica.
• El control artístico flexible es muy deseado para la estilización de escenas en 3D.

Objetivo del estudio:

• Para introducir StylizedGS, un marco de transferencia de estilo neural 3D eficiente.
• Para permitir el control adaptable sobre los factores de percepción en la estilización 3D.
• Abordar los problemas de eficiencia y precisión geométrica en los métodos existentes.

Principales métodos:

• Utilizó la representación 3D Gaussian Splatting (3DGS) para una estilización 3D eficiente.
• Implementó un refinamiento basado en filtros para eliminar artefactos y una pérdida de estilo basada en el vecino más cercano para afinar la geometría y el color.
• Incorpora pérdida de preservación de profundidad y regularizaciones para mantener la integridad geométrica.

Principales resultados:

• Ha logrado una estilización 3D de alta calidad con pinceladas fieles y consistencia geométrica.
• Estilización eficiente demostrada con controles flexibles del usuario sobre el color, la escala y las regiones.
• Superó a los métodos existentes tanto en calidad de estilización como en velocidad de inferencia.

Conclusiones:

• StylizedGS proporciona una solución eficiente y controlable para la transferencia de estilo neural 3D.
• El marco mejora la experiencia del usuario y las posibilidades creativas en la creación de contenido 3D.
• Ofrece un método robusto para transferir estilos artísticos a escenas 3D mientras se conservan los detalles geométricos.