PSDF:用于多视图重建的先驱神经隐含表面学习

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 几何深度学习 几何深度学习

背景情况:

• 传统的多视图立体声 (MVS) 管道与杂和不完整的表面几何形状扎,特别是在纹理较低或照明不均的区域.
• 神经隐性表面重建 (NISR) 提供了一个有前途的替代方案,但由于优化受限不足,它面临着从不受控制的现实世界场景中准确重建微妙几何学的挑战.

研究的目的:

• 开发一种新的框架 (PSDF),以提高神经隐性表面重建质量.
• 利用预先训练的MVS网络的外部几何先验和来自NISR模型的内部先验.
• 提高重建表面的准确性和真实性,特别是在复杂的,不受控制的环境中.

主要方法:

• 引入了一个框架 (PSDF),结合了来自MVS的外部几何先验和来自NISR的内部先验.
• 采用外部MVS先验,实施了可见性感知功能一致性损失和深度预先辅助采样.
• 使用内部先导重要性染来减轻NISR固有的偏见染问题.

主要成果:

• 拟议的方法提供了强大的几何一致性约束,并改善了表面交点定位.
• PSDF显著提高了神经隐性表面重建的准确性和细节性.
• 在坦克和寺数据集上的实验证明了在复杂,不受控制的场景上最先进的性能.

结论:

• 该PSDF框架有效地解决了传统的MVS和表面重建的基本NISR的局限性.
• 整合外部和内部几何先验对于高质量的神经隐性表面学习至关重要.
• 在从具有挑战性的现实数据中重建微妙的几何学方面,PSDF取得了卓越的结果.