RISE编辑:旋转不变的神经点场与交互式细分为细粒度和高效的编辑

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 神经辐射场 (NeRF) 在新的视图合成方面表现出色,但缺乏高效和精细的编辑能力.
• 现有的可控制的NeRF方法在编辑效率和细节性方面存在局限性,限制了创意应用.
• 编辑隐式字段是具有挑战性的,因为当显式表示被改变时,可能会降低染质量.

研究的目的:

• 呈现一种新的旋转不变的神经点场表示,以提高NeRF的细粒度和高效编辑.
• 为了使隐式场景表示的直观和精确的操纵.
• 改进NeRF.RF的创意编辑能力和潜在应用.

主要方法:

• 通过结合隐式NeRF和显式基于点的方法,引入了一种新的旋转不变的神经点场表示.
• 开发了一个旋转不变的神经反向距离权重插值 (RNIDWI) 模块,用于聚合神经点.
• 将NeRF分解为场景无意识的染和场景特定的神经点场,用于跨场景的构成.
• 实施了多视图合体学习策略,用于实时3D细分从2D提示.

主要成果:

• 在微细的编辑后,由于在加勒比坐标中学习本地内容,在场景染质量方面取得了显著的改进.
• 通过简单的基于点击的提示在2D图像上实现了高效的3D神经点领域细分和操纵.
• 展示了增强的编辑功能,简化了用户编辑流程,并为新的视图提供了摄影现实化的染质量.
• 在时空效率和可实现的编辑功能的范围方面表现优于相关方法.

结论:

• 拟议的旋转不变的神经点场显著提升了NeRF.的细粒度编辑.
• 该方法为用户提供了更直观,更有效的工作流程来编辑复杂的3D场景.
• 这项工作通过克服以前的编辑限制,扩大了NeRF的实际应用.