点Dreamer:从彩色点云进行零拍摄3D纹理网重建

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 对纹理3D网格的忠实重建对于各种应用至关重要.
• 现有的彩色点云到网格 (彩色PC到网格) 方法通常会产生模糊的纹理或需要广泛的3D训练数据.
• 利用3D彩色点云为精确的360°对象复制提供了优势.

研究的目的:

• 开发一个新的框架,PointDreamer,用于从3D彩色点云中高质量的纹理网重建.
• 为3D点云数据调整2D扩散模型,克服现有方法的局限性.
• 在3D重建中解决和减轻非投影文物.

主要方法:

• PointDreamer使用了一个新的项目-inpaint-unproject管道来调整2D扩散模型.
• 框架项目将点云转化为稀疏的二维图像,用于基于扩散的绘画.
• 通过直接将彩绘的2D图像未投射到3D网格中来实现高质量的纹理,避免模糊的3D/UV空间预测.

主要成果:

• 在纹理网重建中,PointDreamer实现了最先进的 (SoTA) 性能,在LPIPS得分中显示了30%的改善 (0.118到0.068).
• 拟议的非边境优先 (NBF) 不投射策略有效地解决了封闭边界的不投射文物.
• 该框架显示了对杂,稀疏和不完整的输入数据的稳定性,在合成和实时扫描数据集上进行了验证.

结论:

• PointDreamer成功地利用了2D扩散先验,从彩色点云中进行了优异的纹理网状重建.
• 新型管道和NBF无投射策略克服了先前彩色PC到网格方法的关键限制.
• PointDreamer为3D纹理网格生成提供了一个零拍摄,坚固和高性能解决方案.