OccScene: Aprendizaje mutuo basado en la ocupación semántica para la generación de escenas en 3D

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Gráficos en 3D

Sus antecedentes:

• Los modelos de difusión se destacan en la generación y percepción de escenas en 3D, pero generalmente están separados.
• Los métodos existentes a menudo utilizan el aumento de datos sintéticos para tareas de percepción, lo que limita la integración.

Objetivo del estudio:

• Proponer OccScene, un marco unificado para la percepción y generación 3D integradas.
• Lograr mejoras sinérgicas tanto en la calidad de generación como en la precisión de la percepción a través del aprendizaje mutuo.

Principales métodos:

• Desarrolló OccScene, un marco de difusión de capacitación conjunta guiado por la ocupación semántica y las indicaciones de texto.
• Se introdujo un módulo de alineación dual basado en Mamba para integrar la semántica y la geometría de grano fino como priores de percepción.
• Habilitado el aprendizaje mutuo donde la generación mejora la percepción y viceversa.

Principales resultados:

• OccScene genera escenas 3D realistas y consistentes a partir de instrucciones de texto.
• Demostró mejoras sustanciales en el rendimiento de la predicción de ocupación semántica.
• Efectividad validada en diversos escenarios interiores y exteriores.

Conclusiones:

• OccScene integra con éxito la generación y la percepción de escenas 3D en un único marco.
• El paradigma de aprendizaje mutuo ofrece beneficios significativos para ambas tareas.
• Presenta una nueva dirección para el desarrollo de sistemas avanzados de comprensión y creación 3D.