6DoF对象姿势和焦距估计从单个RGB图像在不受控制的环境中

科学领域:

• 计算机视觉 计算机视觉
• 扩展现实 (XR)
• 三维重建的3D重建

背景情况:

• 精确的六度自由 (6DoF) 姿势和焦距估计对于扩展现实 (XR) 应用至关重要,可实现精确的对象对齐和投影缩放.
• 从未知摄像头元数据的单个RGB图像中估计这些参数存在重大挑战,特别是由于投影尺度的模糊性.
• 像FocalPose和Focalpose++这样的现有方法与z轴转换 (tz) 和焦距之间的固有模糊性作斗争.

研究的目的:

• 从不受控制的RGB图像中开发一种改进的方法来估计6DoF姿势和焦距.
• 解决和克服与估计转换 (tz) 和焦距有关的投影尺度含糊性.
• 为了提高XR应用的姿势和焦距估计的准确性和稳定性.

主要方法:

• 建议采用两阶段的策略,将z轴转换 (tz) 和焦距的估计脱.
• 阶段1:任意设置tz,预测其他姿势参数和相对于这个固定的tz的焦距.
• 阶段2:预测真 tz 并相应地调整焦距,使用代更新规则和胡伯损失.

主要成果:

• 拟议的两阶段方法显著减少了RGB图像中的投影尺度模糊性.
• 对基准数据集的实验结果显示,中位旋转和翻译错误的实质性改善.
• 该方法在Pix3D数据集上的投影精度得到了7.19%的改进,与Focalpose+++相比,翻译和焦距错误分别减少了20.27%和6.65%.

结论:

• 这种新的两阶段方法有效地解决了投影尺度的模糊性,导致更准确的6DoF姿势和焦距估计.
• 代更新和Huber损失的集成进一步提高了估计准确性.
• 这项工作为从未校准的RGB图像中对姿势和焦距估计提供了更强大的解决方案,有利于XR应用.