从NeRFLiX到NeRFLiX++:一个一般的NeRF-不可知复原器范式

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 神经辐射场 (NeRF) 在新的视图合成方面表现出色,但与现实世界的场景细节扎,并呈现诸如噪音和模糊等文物.
• 不完善的校准和场景表示限制了NeRF生成的视图的质量,即使具有高质量的训练数据.

研究的目的:

• 介绍NeRFLiX,一个一般的NeRF-不可思议的恢复器范式,以消除NeRF原生染文物.
• 为了提高NeRF模型产生的合成新视图的摄影现实性和质量.
• 为了介绍NeRFLiX++,一个更高效和更强大的版本,用于超高分辨率输出恢复.

主要方法:

• 开发了一种NeRF风格的降解建模方法,以及用于移除文物的大规模训练数据.
• 提出了一个交互视角聚合框架,以融合相关的高质量培训图像.
• 推出了NeRFLiX++与两级NeRF降解模拟器和更快的互视点混合器.

主要成果:

• NeRFLiX有效地使用降解驱动的互视点混合器去除NeRF染文物.
• 互视点聚合框架显著提高了现有的NeRF模型的性能.
• NeRFLiX++实现了卓越的性能和计算效率,从噪音较低的低分辨率NeRF视图中恢复超高分辨率输出.

结论:

• NeRFLiX++显示了对新视图合成基准的优秀恢复能力.
• 拟议的范式突破了NeRF性能的界限,使得高度光现实的合成视图成为可能.
• 这项工作在使用NeRF技术从现实场景中生成高质量的细节方面取得了重大进展.