可动画的隐含神经表征用于从视频中创建现实的化身

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 从多视图视频中重建可动画的人类模型具有挑战性.
• 使用正规神经辐射场和变形场的现有方法受到限制,缺乏运动控制.

研究的目的:

• 开发一种用于从多视图视频中重建可动画的人类模型的新方法.
• 通过骨运动来实现对人类模型动画的明确控制.

主要方法:

• 引入基于骨架驱动变形的混合重量场,用于生成对应.
• 代表人类几何作为标记在规范空间的距离场.
• 利用神经点位移场来增强运动建模.

主要成果:

• 拟议的混合重量场正规化了使用可观测的3D人类骨的变形场学习.
• 该方法允许通过将混合重量场与输入骨运动相结合来激活人类模型.
• 在实验评估中明显优于最近的人类建模方法.

结论:

• 这种新的方法有效地从多视图视频中重建可动画的人类模型.
• 混合重量场为人类运动建模提供了可控制和规范的替代方案.
• 这种方法推进了动态人类建模和动画的最新技术.