使用点嵌入式变压器进行多视图手部重建
IEEE transactions on pattern analysis and machine intelligence
|August 13, 2025
概括
这项研究介绍了POEM,一种新的多视图手网重建模型,用于实际的手动捕捉. 它使用3D基点和广泛的培训数据,以获得可概括和具有成本效益的结果.
科学领域:
- 计算机视觉 计算机视觉
- 三维重建的3D重建
- 人与计算机的交互
背景情况:
- 准确的3D手网重建对于现实的动作捕捉至关重要.
- 现有的方法往往难以实现一般化和现实世界的适用性.
- 多视图立体声方法提供了潜力,但需要有效的功能融合.
研究的目的:
- 介绍POEM,一种新且可通用的多视图手网重建 (HMR) 模型.
- 实现实用,用户友好和经济高效的多视图移动捕捉手.
- 改进多视图功能的融合,以实现强大的3D手模拟.
主要方法:
- 建议在多视图立体空间中嵌入静态基点,以表示3D手形几何.
- 使用基点来有效地将多个摄像头视图中的功能融合在一起.
- 采用一个培训策略,将五个大规模的多视图数据集与随机的摄像头配置相结合.
主要成果:
- 在现实世界的应用中,POEM模型表现出了显著的通用性.
- 使用3D基点实现了多视图图像特征的有效融合.
- 开发了一种实用的,用于左手和右手动作捕捉的插即用解决方案.
结论:
- POEM为多视图手网重建提供了一种新且有效的方法.
- 该方法为实际的动作捕捉提供了用户友好和经济有效的解决方案.
- POEM的通用性使其适用于各种现实世界的场景.
