测量从人类:零射击单眼测量深度估计通过测试时间适应
Yizhou Zhao1, Hengwei Bian1, Kaihua Chen1
1Carnegie Mellon University, Pittsburgh.
Advances in neural information processing systems
|February 23, 2026
概括
这项研究引入了从人类 (MfH) 度量测量单眼度量深度估计 (MMDE). MfH使用生成模型和人类网状回收来实现在未见的场景中准确的深度预测,克服目前的局限性.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 单眼深度估计 (MDE) 对于从二维图像中重建3D场景至关重要.
- 目前的单眼度量深度估计 (MMDE) 由于场景依赖的尺度恢复,难以处理未见的场景.
- 单眼相对深度估计 (MRDE) 是有效的,但缺乏米尺度信息.
研究的目的:
- 为零射击单眼度量深度估计 (MMDE) 开发一种新的方法,该方法可以概括到未见的场景.
- 为了克服现有MMDE模型的场景依赖性限制.
- 为了利用生成模型和人类先验来实现米尺度的恢复.
主要方法:
- 建议从人类 (MfH) 度量方法进行无注释的测试时间调整.
- 利用生成性绘画模型在输入图像中合成人形.
- 采用现成的人体网状回收 (HMR) 模型来估计人类尺寸.
- 使用MRDE预测,从估计的人类尺寸到场景上下文传播的度量级信息.
主要成果:
- 在单眼米度深度估计 (MMDE) 中实现了优异的零射击性能.
- 展示了MFH方法对新,未见的场景的强大概括能力.
- 通过生成和估计策略,成功将可泛化MRDE与零射击MMDE相连接.
结论:
- 从人类的度量 (MfH) 有效地提炼了使用人类作为地标的场景独立度量尺度先验.
- 拟议的方法可以实现强大的MMDE,而不需要特定场景的训练数据.
- MfH为改善深度估计模型的泛化提供了一个有希望的方向.
