从单个RGB图像中估计一个3D人类骨,通过将多个虚拟视角的预测深度融合在一起
1Department of Electrical Engineering, Center for Innovative Research on Aging Society (CIRAS), Advanced Institute of Manufacturing with High-Tech Innovations (AIM-HI), National Chung Cheng University, Chia-Yi 621, Taiwan.
Sensors (Basel, Switzerland)
|January 8, 2025
概括
这项研究引入了一种新的计算机视觉方法,用于从单个图像中估计3D人类骨. 通过使用虚拟视角,该方法提高了准确性,优于以前的单视角技术.
科学领域:
- 计算机视觉 计算机视觉
- 人类姿势估计 人类姿势估计
- 三维重建的3D重建
背景情况:
- 从单个RGB图像中估计3D人类骨是计算机视觉的一个重大挑战.
- 多视图方法在准确性方面具有优势,但需要多个摄像头.
研究的目的:
- 开发一种单视图方法,用于准确的3D人类骨估计.
- 利用虚拟视角来增强深度感知和骨架精度.
主要方法:
- 一个采用双流方法 (真实网络和虚拟网络) 的双阶段网络,从真实和虚拟视角预测2D坐标和相对深度.
- 集成了一个深度消噪模块,切割到原始坐标转换 (COCT) 和一个用于2D到3D提升和回归的融合模块.
主要成果:
- 实现了每关节平均位置误差为45.7毫米,优于现有的单视图方法.
- 性能与使用多个连续的基于序列的方法相提并论.
结论:
- 拟议的单视图方法通过融合来自多个虚拟视角的信息,有效地重建精确的3D人类骨.
- 这种方法为3D姿势估计提供了多视图或基于序列的方法的有希望的替代方案.


