三重姿势网络:通过选择性内核网络和用三焦张器进行自我监督来进行自适应的3D人体姿势估计

科学领域:

• 计算机视觉 计算机视觉
• 3D人体姿势估计 3D人体姿势估计

背景情况:

• 对虚拟实体进行准确的3D姿势估计是具有挑战性的,因为现实运动的复杂性.
• 传统的方法往往无法在动态虚拟环境中捕捉真正的化身交互.

研究的目的:

• 引入TRI-POSE-Net,这是一种用于精确3D姿势估计的新型模型,特别是在监督有限的场景中.
• 为了从单个2D RGB图像中实现3D姿势估计.

主要方法:

• 在TRI-POSE-Net模型中,ResNet-50与Selective Kernel Network (SKNet) 块进行集成,以实现高效的特征提取.
• 三焦张量和三视图几何学被用来从二维姿势生成3D地面真实姿势,提高三角形准确性.

主要成果:

• 拟议的方法在HumanEva-I数据集上实现了自主监督下47.6的平均每关联位置错误 (MPJPE) 和在完全监督下29.9的平均每关联位置错误.
• 与现有方法相比,TRI-POSE-Net表现出强的表现,特别是在自我监督范式内.

结论:

• 在有限的监督下,TRI-POSE-Net为计算机视觉应用中的3D姿势估计提供了有效的解决方案.
• 模型能够从单个2D图像中生成准确的3D姿势,这使得虚拟现实和化身交互技术进步.