Hie4DGS: Representaciones Gaussianas Jerárquicas 4D a partir de Vídeo Dinámico Monocular

Área de la Ciencia:

• Visión por Computadora
• Reconstrucción 3D
• Gráficos por Computadora

Sus antecedentes:

• La reconstrucción de vídeo dinámico monocular es un desafío debido a las observaciones limitadas y los movimientos 3D complejos.
• Los métodos existentes de representaciones gaussianas dinámicas 3D a menudo fallan en entornos monoculares, dependiendo de señales de múltiples cámaras o descuidando la coherencia estructural.

Objetivo del estudio:

• Proponer Hie4DGS, una representación de estructura jerárquica novedosa para modelar movimientos dinámicos complejos a partir de vídeos monoculares.
• Abordar las limitaciones de las técnicas actuales de representaciones gaussianas dinámicas 3D en escenarios monoculares.

Principales métodos:

• Descomposición del movimiento de la escena en múltiples granularidades utilizando una estructura jerárquica.
• Aprovechamiento de la segmentación semántica jerárquica para agrupar representaciones gaussianas 3D e inicializar el movimiento con información de profundidad y seguimiento.
• Introducción de una pérdida de renderizado estructural para mejorar la coherencia de la estructura del movimiento.

Principales resultados:

• Se lograron mejoras significativas en la calidad de renderizado en conjuntos de datos de vídeo monocular con movimientos complejos.
• Se demostró un rendimiento superior en comparación con los métodos dinámicos gaussianos de última generación en la reconstrucción monocular.
• Se redujo con éxito la ambigüedad del movimiento a través de la representación jerárquica propuesta y la pérdida de renderizado.

Conclusiones:

• Hie4DGS modela eficazmente movimientos dinámicos complejos en vídeos monoculares utilizando una estructura jerárquica.
• El método propuesto mejora la calidad de renderizado y la coherencia estructural de las representaciones gaussianas dinámicas 3D.
• Este trabajo ofrece una solución prometedora para tareas desafiantes de reconstrucción de vídeo dinámico monocular.