使用反射场进行神经投影映射绘制
IEEE transactions on visualization and computer graphics
|October 2, 2023
概括
我们开发了一个带有虚拟投影仪的神经反射场,用于现实的光编辑和校准. 这种方法简化了投影映射,并增强了对增强现实应用的场景理解.
科学领域:
- 计算机视觉 计算机视觉
- 计算机图形 计算机图形
- 机器学习 机器学习
背景情况:
- 传统的投影映射需要复杂,耗时的校准.
- 通过动态照明实现摄影现实化染具有挑战性.
研究的目的:
- 将可微分的虚拟投影仪引入神经反射场.
- 为了实现摄影现实性的光线编辑,并简化投影映射.
- 为了提高场景的理解和重建.
主要方法:
- 将一个高分辨率,空间适应的光源 (投影仪) 集成到神经反射场中.
- 使用三个神经网络进行几何,材料和传导率估计.
- 采用分析的双向反射分布函数 (BRDF) 模型和特定的投影模式,以实现直观的获取.
主要成果:
- 投射的纹理是完全可差异化的,允许对所需的外观进行优化.
- 虚拟投影仪简化了校准,并改善了场景的理解.
- 实现了最新的投影仪补偿,以获得新的视角和增强材料/场景重建.
- 通过使用2D生成模型,证明了成功的投影图像优化.
结论:
- 神经投影映射为增强现实和投影映射提供了一种简单而强大的方法.
- 场景和投影图像的联合优化解锁了新的下游应用程序.
- 拟议的方法减轻了对每个视图进行校准的需求,使应用程序更容易获得.
