Realización virtual de imágenes panorámicas en interiores mediante aprendizaje multitarea y renderizado inverso

Área de la Ciencia:

• Visión por computadora
• Gráficos por computadora
• Inteligencia artificial

Sus antecedentes:

• Las imágenes interiores de 360° ofrecen una creación de contenido inmersivo rentable.
• La puesta en escena virtual, incluida la eliminación de objetos y la inserción realista con iluminación, presenta importantes desafíos técnicos.

Objetivo del estudio:

• Introducir el VISPI (Virtual Staging Pipeline for Single Indoor Panoramic Images), un nuevo marco para la puesta en escena virtual interactiva.
• Para permitir la manipulación de escenas interiores desde imágenes panorámicas únicas.

Principales métodos:

• Un enfoque de aprendizaje profundo de múltiples tareas que utiliza un transformador de visión para extraer propiedades geométricas, semánticas y materiales.
• Integración de estimación de iluminación gaussiana esférica y renderizado en tiempo real para la colocación de objetos interactivos.
• Desarrollo de un sistema de doble vía para la representación de escenas sin desorden y la estimación de las propiedades del material (metálico, rugosidad).

Principales resultados:

• Predicción simultánea de la profundidad, las normales, la semántica, el albedo y las propiedades del material de las escenas de interior desordenadas.
• Generación exitosa de vistas estereoscópicas de múltiples centros de proyección para la exploración de pantallas montadas en la cabeza.
• Eficacia demostrada del marco para los conjuntos de datos Structured3D y FutureHouse.

Conclusiones:

• VISPI ofrece una solución eficaz para la puesta en escena virtual interactiva utilizando imágenes panorámicas únicas.
• El marco facilita la creación y edición de entornos virtuales realistas.
• Las aplicaciones incluyen visualización mejorada de bienes raíces, diseño de interiores y experiencias virtuales inmersivas.