EKF-GS: Un mejorado splatting gaussiano 3D utilizando el filtro de Kalman extendido

Área de la Ciencia:

• Visión por Computadora
• Gráficos por Computadora
• Aprendizaje Automático

Sus antecedentes:

• El splatting gaussiano 3D (3DGS) es una técnica de renderizado para la síntesis de nuevas vistas en tiempo real.
• Los métodos 3DGS existentes a menudo requieren un tiempo de entrenamiento considerable y carecen de una estimación robusta de la incertidumbre.
• La optimización eficiente y la cuantificación de la incertidumbre son críticas para avanzar en 3DGS.

Objetivo del estudio:

• Desarrollar un marco de optimización híbrido para el splatting gaussiano 3D.
• Mejorar la velocidad de convergencia y la calidad de la reconstrucción.
• Introducir la cuantificación de la incertidumbre y la densificación guiada por la incertidumbre en el proceso 3DGS.

Principales métodos:

• Integración del Filtro de Kalman Extendido (EKF) con el descenso de gradiente estocástico (SGD) en un marco unificado denominado EKF-GS.
• Desarrollo de una estrategia de densificación gaussiana guiada por la incertidumbre.
• Implementación de capacidades de cuantificación de la incertidumbre dentro del pipeline de optimización.

Principales resultados:

• Se logró una convergencia más rápida en comparación con los métodos 3DGS estándar basados en SGD.
• Se demostró una calidad de reconstrucción 3D mejorada con menos iteraciones de entrenamiento.
• Se mostró una reducción del tiempo total de entrenamiento en conjuntos de datos de referencia públicos.
• Se implementó con éxito la cuantificación de la incertidumbre para splats gaussianos.

Conclusiones:

• EKF-GS ofrece un avance significativo en la optimización del splatting gaussiano 3D.
• El enfoque híbrido equilibra eficazmente la velocidad de convergencia, la precisión de la reconstrucción y la estimación de la incertidumbre.
• Este marco allana el camino para una representación de escenas 3D más eficiente y confiable.