Planner3D: El gráfico mejorado por LLM se encuentra con la regularización explícita de la escena interior en 3D

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Gráficos en 3D

Sus antecedentes:

• La síntesis de escenas 3D de composición es crucial para la robótica, el cine y los juegos, pero los métodos actuales luchan con la diversidad de formas y la fidelidad a nivel de escena.
• Los modelos generativos existentes mejoran la fidelidad de la forma, pero a menudo descuidan la generación de diseño de forma conjunta, lo que lleva a problemas como colisiones de objetos.

Objetivo del estudio:

• Desarrollar un método para generar escenas interiores 3D realistas y razonables directamente a partir de gráficos de escenas.
• Para abordar el área poco explorada de la fidelidad a nivel de escena en la síntesis de escena 3D.

Principales métodos:

• Utilizó un modelo de lenguaje grande para enriquecer los priores de gráficos de escena agregando características globales, de nodo y de borde.
• Utilizó un codificador de gráficos unificados para extraer características para guiar la generación conjunta de formas de diseño.
• Se introdujo una regularización adicional para limitar explícitamente los diseños 3D generados.

Principales resultados:

• Se logró un mejor rendimiento de síntesis de escenas en 3D, especialmente en la fidelidad a nivel de escena, cuando se comparó con el conjunto de datos SG-FRONT.
• Demostró la eficacia de la integración de grandes modelos de lenguaje y modelos generativos para la generación de escenas complejas.

Conclusiones:

• El método propuesto genera exitosamente escenas interiores en 3D realistas al combinar eficazmente la información del gráfico de la escena con las capacidades generativas.
• El enfoque ofrece un avance significativo en la síntesis de entornos 3D complejos y sin colisiones con alta fidelidad a nivel de escena.