DP-AMF:深度前导向的自适应多模式和全球-本地融合,用于单视图3D重建
Luoxi Zhang1, Chun Xie2, Itaru Kitahara2
1Doctoral Program in Empowerment Informatics, University of Tsukuba, 1-1-1 Tennodai, Tsukuba 3058577, Japan.
Journal of imaging
|July 25, 2025
概括
本研究介绍了DP-AMF,这是一种用于单视图3D重建的新框架. 它有效地将深度先验与多模式特征集成,提高了复杂场景中的几何精度和细节.
科学领域:
- 计算机视觉 计算机视觉
- 3D 计算机图形 3D 计算机图形
- 机器学习 机器学习
背景情况:
- 单视图3D重建本质上是具有挑战性的,因为2D图像中缺乏深度和尺度信息.
- 模糊性尤其在封闭或质地较差的区域出现,限制了重建的准确性.
- 现有的方法很难从单个图像中始终恢复准确和详细的3D几何.
研究的目的:
- 为单视图3D重建开发一个强大的框架,克服固有的模两可.
- 为了提高从单个RGB图像重建的3D模型的准确性和完整性.
- 为了有效地整合不同的特征模式,以改善几何细节和处理遮.
主要方法:
- 拟议的DP-AMF (深度先导自适应多模式和全球-本地融合) 框架.
- 从基于扩散的估计器 (MARIGOLD) 中集成预先计算的高准确度深度先验.
- 阶层局部特征 (ResNet) 和语义全球特征 (DINO-ViT) 的融合,具有适应权重.
- 使用隐式签名距离场解码器进行最终的网格重建.
主要成果:
- 在3D-FRONT和Pix3D数据集上,DP-AMF在强有力的基线上取得了显著的改进.
- 在Chamfer距离减少了7.64%,F-Score增加了2.81%,正常一致性增加了5.88%.
- 定性结果显示了更利的边缘和更完整的几何形状,特别是在具有挑战性的场景中.
结论:
- DP-AMF为复杂的单视图3D重建提供了强大的和有效的解决方案.
- 该框架实现了最先进的性能,而不会大幅增加模型大小或推断时间.
- 适应式多模式融合方法有效地利用深度先验和语义特征,以获得更高的重建质量.
