GR-PSN:学习估计表面正常和重建光度立体图像
IEEE transactions on visualization and computer graphics
|November 3, 2023
概括
这项研究介绍了GR-PSN,这是一种学习表面常量和从立体图像生成光度图像的新方法. GR-PSN 可实现准确的形状重建和现实的染,使用任意的材料和照明.
科学领域:
- 计算机视觉 计算机视觉
- 计算机图形 计算机图形
- 机器学习 机器学习
背景情况:
- 光度立体对3D形状重建至关重要.
- 现有的方法经常与任意的照明和材料变化作斗争.
- 端到端学习为提高绩效提供了潜力.
研究的目的:
- 提出GR-PSN,一种用于表面正常学习和光度图像生成的新型级联框架.
- 为了实现精确的3D形状重建和从光度立体数据的任意图像染.
- 在表面回收和材料染方面超越现有的单一网络方法.
主要方法:
- 一个由GeometryNet和ReconstructNet组成的级联框架,用于端到端的形状重建和图像染.
- 重建网络包含了额外的监督,用于表面正常恢复,与Geometry.Net创建一个闭环.
- 训练使用表面正常损失,重建损失和转换损失,通过预测和地面真实正常地图的交替输入实现稳定训练.
主要成果:
- 从任意数量的输入图像中准确地恢复对象表面的正常值.
- 用任意的表面材料和照明条件生成现实的光度图像.
- 在单一的表面回收网络上表现出优越性,在100种不同的材料中实现现实的染.
结论:
- GR-PSN有效地学习了表面的正常值,并从光度立体中实现了高质量的任意染.
- 拟议的级联网络架构和培训策略导致了强大而准确的形状重建和材料染.
- 这种方法提升了光度立体声在处理复杂的照明和材料特性方面的能力.


