NeRF-In:为预训练的NeRF使用RGB-DPriors进行自由形式的染色

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 神经辐射场 (NeRF) 提供了强大的场景表示能力.
• 编辑预训练的NeRF模型是具有挑战性的,因为网络参数和场景外观之间的隐含关联.

研究的目的:

• 开发一个用户友好的框架,在预训练的NeRF场景中修改特定区域.
• 为了实现直观的场景编辑,而不需要原始的培训数据或特定类别的先验.

主要方法:

• 用户在染视图上绘制自由形式的面具,以识别不需要的区域.
• 该框架在视图和估计中转移面具,指导色彩和深度信息.
• 一个优化过程更新NeRF参数以inpaint掩盖区域.

主要成果:

• 该框架成功地在各种NeRF场景中修改了不需要的对象.
• 结果显示了视觉上可信且结构上一致的场景编辑.
• 该方法需要最小的用户努力,以有效地操纵场景.

结论:

• 这项工作为预训练的NeRF模型提供了第一个基于面具的直观编辑框架.
• 这种方法可以更轻松地修改由NeRF.表示的复杂3D场景.
• 拟议的方法为用户提供了一种实际的解决方案,以改进基于NeRF的场景表示.