梦360:多元化和沉浸式户外虚拟场景创建通过基于变压器的360°图像外漆
IEEE transactions on visualization and computer graphics
|March 4, 2024
概括
Dream360从狭窄的视野 (FoV) 照片中生成多样化,高分辨率的360°全景图像. 这种基于变压器的框架通过考虑球形图像属性来增强虚拟现实体验,以获得卓越的外漆灵活性和保真性.
科学领域:
- 计算机视觉 计算机视觉
- 虚拟现实 虚拟现实 虚拟现实
背景情况:
- 360°图像可以创建沉浸式的虚拟现实 (VR) 环境.
- 用户的目标是从便携式设备上的狭窄视野 (FoV) 照片中生成各种各样的全景场景.
研究的目的:
- 为了应对从狭窄的FoV图像中创建多样化的虚拟场景的挑战.
- 提出一个灵活和高保真度的360度图像外漆的框架.
主要方法:
- 开发了一个基于变压器的360度图像外绘框架Dream360.
- 采用球形VQGAN (S-VQGAN) 用于使用球形波 (SH) 值进行基于代码书的全景涂装.
- 实现了对频率的精细化,并增加了新的一致性损失,以提高保真度.
主要成果:
- 梦360生成多样化,高保真,高分辨率的全景图,尊重球形图像属性.
- 与现有方法相比,实现了显著较低的FID分数.
- 用户研究证实了VR环境的优越质量和灵活性.
结论:
- 通过利用球形表示,Dream360提供了增强的外漆灵活性和真实性.
- 该框架成功地为VR应用程序生成现实和多样化的全景场景.
- 在量化指标和用户感知上,在现有方法上表现出优越性.


