VMarker-Pro:从虚拟标记器进行概率 3D 人类网格估计

科学领域:

• 计算机视觉 计算机视觉
• 3D人体姿势和形状估计 3D人体姿势和形状估计
• 机器学习 机器学习

背景情况:

• 单眼3D人网估计受到深度模糊性和映射复杂性的挑战.
• 使用3D姿势的现有方法会失去重要的身体形状信息,而移动捕捉系统对现实世界的图像是不切实际的.
• 需要强大而准确的方法来从单个图像中进行无标记的3D人形重建.

研究的目的:

• 引入创新的中间表示,使用虚拟标记来改进3D人网估计.
• 开发VMarker,用于检测虚拟标记,并从野生图像中重建完整的人类网格.
• 用VMarker-Pro,一个使用扩散模型的概率框架来提高封闭场景中的稳定性.

主要方法:

• 从大规模的运动捕获数据中学习虚拟标记器,以模仿物理标记器.
• 开发了VMarker,可以从图像中检测虚拟标记,并插入以获得3D人体网格.
• 提出了VMarker-Pro,这是一个概率框架,具有扩散模型,通过生成多个合理的网格来处理封闭.

主要成果:

• 拟议的VMarker和VMarker-Pro方法超过了对三个基准数据集的现有方法.
• 在SURREAL数据集中观察到显著的改进,该数据集以各种身体形状而闻名.
• 通过准确地建模数据分布,VMarker-Pro在封闭的场景中表现出卓越的性能.

结论:

• 虚拟标记器为单眼3D人网估计提供了一个有希望的中间表示.
• VMarker和VMarker-Pro提供了精确,坚固和形状意识的3D人体从图像上的重建.
• 概率框架有效地解决了阻塞挑战,推进了无标记3D人形估计的最先进技术.