PERF:来自单个全景的全景神经辐射场

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 神经辐射场 (NeRF) 擅长从多个图像中合成新的视图.
• 现有的单图像NeRF方法在有限的视野和屏蔽方面扎,阻碍了现实世界的应用.
• 扩展到360度全景场景具有显著的遮蔽仍然是一个挑战.

研究的目的:

• 开发一个全新的360度视图合成框架 (PERF),能够从单个全景中训练全景神经辐射场.
• 为了在复杂的场景中实现3D漫游,而不需要广泛的多视图图像收集.
• 解决现有方法在处理大屏蔽和广视野方面的局限性.

主要方法:

• 提出了一种新的协作RGBD inpainting方法和一种渐进的inpainting-and-erasing方法,用于从2D全景中重建3D场景.
• 集成了RGB稳定扩散模型和单眼深度估计器,用于完成RGB和深度图.
• 开发了一个统一的优化框架,将这些组件纳入NeRF学习.

主要成果:

• PERF成功地从单个360度全景中重建了3D场景,从而实现了3D漫游.
• 在Replica和 PERF-in-the-wild数据集上表现出高于最先进的方法的性能.
• 在生成一致的几何形状和现实的新视角方面取得了有希望的结果.

结论:

• PERF提供了一个可扩展的解决方案,用于从单个全景图中合成360度新的视图.
• 该框架有助于在复杂的环境中进行3D场景重建和探索.
• PERF具有各种现实应用的潜力,包括全景到3D,文本到3D和3D场景造型.