Aprendizaje heterogéneo de expertos en escena para campos de radiación neural a gran escala

Área de la Ciencia:

• Visión por computadora
• Gráficos por computadora
• Aprendizaje automático

Sus antecedentes:

• Los campos de radiación neural (NeRF) son prometedores para el modelado de escenas a gran escala.
• Los métodos existentes se enfrentan a desafíos en la descomposición aprendizable, la heterogeneidad de la escena y la eficiencia.
• La escalabilidad en NeRF es crucial para las aplicaciones del mundo real.

Objetivo del estudio:

• Introducir Switch-NeRF ++, un marco unificado para NeRF escalables en escenas grandes.
• Para abordar las limitaciones en la descomposición aprendizable, la heterogeneidad de la escena y la eficiencia del modelado.
• Para lograr un modelado de escenas a gran escala de alta calidad y eficiencia.

Principales métodos:

• Desarrolló una red de expertos en mezcla heterogénea de hachís (HMoHE).
• Implementó una red de puertas basada en hash para la descomposición de la escena y la asignación de puntos.
• Utilizó distintos expertos en hash heterogéneos con redes de hash de resolución variable.
• Red de puertas y expertos co-optimizados a través de un marco de mezcla de expertos escasamente abierto (MoE).

Principales resultados:

• Logró una precisión de renderizado de escena de última generación en conjuntos de datos a gran escala.
• Ganancias de eficiencia significativas demostradas: entrenamiento de 8x y aceleración de renderizado de 16x sobre Switch-NeRF.
• Escalado con éxito a diversas escenas a gran escala, incluido un nuevo conjunto de datos de más de 6.5 km2.
• Validación de la eficacia de la descomposición y representación heterogéneas aprendibles.

Conclusiones:

• Switch-NeRF ++ ofrece una solución de NeRF de extremo a extremo y altamente escalable para escenas a gran escala.
• El marco HMoHE modela efectivamente la heterogeneidad de la escena y mejora la eficiencia.
• El enfoque logra una calidad y un rendimiento superiores en comparación con los métodos existentes.