烤神经辐射场用于实时视图合成
概括
研究人员开发了稀疏神经辐射网 (SNeRG) 来实现神经辐射场 (NeRF) 实时染. 这种紧的表示能够在标准硬件上实现光现实的3D场景染.
科学领域:
- 计算机视觉 计算机视觉
- 计算机图形 计算机图形
- 人工智能的人工智能
背景情况:
- 神经辐射场 (NeRF) 擅长从图像中创建光现实的3D场景表示.
- 在染过程中NeRF的高计算成本限制了其在实时场景中的应用.
- 染需要对每个光线的多层感知子 (MLP) 进行多次查询.
研究的目的:
- 开发一种方法来实时染由NeRF表示的3D场景.
- 创建一个紧而高效的场景表示,适合商品硬件.
- 为了克服传统NeRF染的计算局限性.
主要方法:
- 介绍了一种名为Sparse Neural Radiance Grid (SNeRG) 的新型表示.
- 开发了一种方法来预先计算和存储训练的NeRF模型到SNeRG.
- 采用了重新设计的NeRF架构和一个稀疏的voxel网格与学习的特征向量.
主要成果:
- SNeRG 能够实时染 3D 场景 (笔记本电脑 GPU 上每秒超过 30 ).
- 该表示保留了NeRF精细几何细节和视图依赖的外观的能力.
- SNeRG实现了紧的场景表示,平均每场景不到90 MB.
结论:
- 稀疏神经辐射网 (SNeRG) 为实时3D场景染提供了一个可行的解决方案.
- 与标准的NeRF相比,该方法显著降低了计算要求.
- SNeRG 便于在可访问的硬件上部署高保真度的神经体积表示.
