SceneDreamer:从2D图像集合中无限生成3D场景
IEEE transactions on pattern analysis and machine intelligence
|October 3, 2023
概括
SceneDreamer仅使用2D图像从噪音中生成大规模的3D景观. 这种新的方法可以在没有3D数据的情况下创建多样化,生动无边界的3D世界.
科学领域:
- 计算机视觉 计算机视觉
- 计算机图形 计算机图形
- 人工智能的人工智能
背景情况:
- 从头开始生成大规模的3D场景是具有挑战性的.
- 现有的方法通常需要3D注释,这限制了它们的适用性.
- 从有限的数据中合成复杂,无边界的3D环境仍然是一个开放的问题.
研究的目的:
- 介绍SceneDreamer,这是一个无条件的生成模型,用于创建无限制的3D场景.
- 开发一个框架,只从2D图像集合中学习3D场景合成.
- 为了实现高效和富有表现力的3D场景表示和生成.
主要方法:
- 使用高效的鸟视图 (BEV) 表示,具有高度和语义字段.
- 采用生成神经哈希网来基于3D位置和语义进行场景参数化.
- 利用在2D图像上使用对抗方法训练的神经体积染器.
主要成果:
- SceneDreamer从随机噪音中合成大规模,无限的3D景观.
- 该模型展示了几何和语义的有效解.
- 在生成生动和多样化的3D世界方面实现了最先进的性能.
结论:
- SceneDreamer为无条件的3D场景生成提供了一个新的解决方案.
- 该框架成功地从单纯的2D数据中学习了3D场景合成.
- 该方法在创建现实和多样化的3D环境方面表现出优于现有方法的优势.


