手RT:同时重建手的形状和外观,使用单眼RGB-D视频的姿势跟踪

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 个性化的3D手形象重建对于虚拟现实和增强现实等应用程序至关重要.
• 现有的方法通常需要已知的初始手姿势或与任意姿势和照明变化作斗争.

研究的目的:

• 从单眼RGB-D视频中重建个性化的3D手像的强大方法.
• 为了能够准确地重建手的形状,外观,姿势和照明,而无需事先的姿势知识.

主要方法:

• HandRT使用可差分染框架与蒙特卡洛路径跟踪,共同优化手指参数.
• 基于代的最近点 (ICP) 引入了一个基于式的注册能量,用于跨的姿势跟踪.
• 该方法采用基于物理的阴影模型来处理未知的照明条件.

主要成果:

• HandRT成功地从任意姿势重建了个性化的手形象,高精度,优于现有方法.
• 该方法实现了从RGB和RGB-D输入中精确跟踪重建的化身.
• 评估显示,与公共和定制数据集上的最先进技术相比,网格恢复的准确性要高得多.

结论:

• 手动RT提供了从单眼RGB-D视频个性化3D手形象重建的显著进步.
• 该方法能够处理未知的姿势和照明,使其非常适用于现实世界的应用.
• 拟议的方法为手网回收和化身生成的准确性设定了新的基准.