通过融合多视图图像来重建弱纹理对象的高质量偏振3D重建

科学领域:

• 计算机视觉 计算机视觉
• 这是一种摄影计量技术 (photogrammetry).
• 计算成像技术的成像

背景情况:

• 多视图立体声 (MVS) 在有纹理的表面上表现出色,但在薄弱的纹理或有限的视图上扎,导致不完整的3D重建.
• 形状从极化 (SfP) 恢复了密集的表面正常,无论质地如何,但遭受了角度反转模两可.
• 现有的方法往往需要广泛的观点或计算资源,限制了实际应用.

研究的目的:

• 开发一个被动的3D重建框架,协同结合MVS和SfP.
• 通过利用它们的互补优势来解决单个方法的局限性,以实现更强大,更详细的3D建模.
• 为了减少高质量的3D重建所需的视角数量和计算开销.

主要方法:

• 一个自我注意力增强的PatchMatch网络从MVS产生粗略的深度先验.
• 校准的偏振测量可以恢复细粒度表面的正常梯度.
• 联合优化融合了深度先验和正常梯度,结合了基于图形的平滑性约束来解决模两可,并抑制异常值.
• 最终的表面重建是通过将优化的正常梯度场集成到富里埃域中来实现的.

主要成果:

• 拟议的框架成功地融合了深度和正常信息,以改善3D重建.
• 实验结果表明,与最先进的MVS和深度学习方法相比,在薄弱纹理的对象上表现优越.
• 该方法实现了更细致的细节和更少的文物,视角和计算成本大大降低.

结论:

• MVS深度先验和SfP正常梯度的融合为3D重建提供了一个强大的解决方案,特别是在挑战弱纹理场景时.
• 这种被动方法为现有的3D重建技术提供了更高效和有效的替代方案.
• 该框架有可能推进需要精确和详细的3D建模的应用程序,使用有限的数据.