奇迹人:在动态3D人类重建中幻觉看不见的部分

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 动态的人类化身重建对于虚拟现实和动画等应用程序至关重要.
• 现有的方法通常需要全身覆盖,限制其使用与常见的单眼视频.
• 从有限的视图中重建看不见的身体部位仍然是一个重大挑战.

研究的目的:

• 介绍WonderHuman,这是一个新的方法,用于从单眼视频中高保真地进行动态的人类化身重建.
• 使用生成模型先验,使未见的人体部位的准确染成为可能.
• 为了实现动态的人类对象的摄影现实新视图合成.

主要方法:

• 利用二维生成扩散模型的先验来进行高质量的重建.
• 在规范空间和观察空间中使用分数蒸采样 (SDS) 实现双空间优化.
• 采用视图选择策略和姿势特征注入来实现数据的一致性和真实性.

主要成果:

• 从单眼视频中实现动态的人类化身重建的最先进 (SOTA) 性能.
• 证明了高保真度,摄影逼真染,特别适用于挑战看不见的身体部位.
• 成功重建了具有精确姿势依赖效果的动态化身.

结论:

• WonderHuman有效地从有限的单眼视频输入中重建动态的人类化身.
• 拟议的方法克服了以前的局限性,通过准确地染看不见的身体部位.
• 这项工作推进了动态化的人物形象创建领域,以实现现实的虚拟体验.