手FI:基于RGB图像中的多层特征融合的多层交互手的重建
Huimin Pan1, Yuting Cai1, Jiayi Yang1
1School of Computer Science, Xi'an Polytechnic University, Xi'an 710600, China.
Sensors (Basel, Switzerland)
|January 11, 2025
概括
这项研究介绍了HandFI,一个用于重建交互手的新型网络. 手FI有效地区分手的特征和模型空间关系,显著提高双手重建的准确性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 三维重建的3D重建
背景情况:
- 交互手部重建对于增强现实和人机交互等应用至关重要.
- 目前的方法难以区分手的特征,对准网格,并建模复杂的手间空间关系.
研究的目的:
- 提出一个多层次的功能融合交互网络 (HandFI),用于准确的双手重建.
- 为了应对特征分离,网格对齐和空间关系建模在交互手部重建中的挑战.
主要方法:
- 开发了一种使用注意力机制和位置编码的手部特征分离模块.
- 实施了一种手融合和注意力模块,整合了多尺度特征和交叉注意力,以改善对齐和空间理解.
- 利用注意力机制和位置编码来进行特征分离和交叉注意力,用于空间关系建模.
主要成果:
- 与InterHand 2.6M,RGB2Hands和EgoHands数据集上的现有方法相比,HandFI表现出更高的性能.
- 获得的平均每关节位置误差 (MPJPE) 为9.38mm,平均每顶部位置误差 (MPVPE) 为9.61mm.
- 通过在现实场景中成功应用验证的概括能力.
结论:
- 拟议的HandFI网络有效地解决了交互手部重建的关键挑战.
- 手FI显著提高了双手重建的准确性和稳定性.
- 该方法显示了对需要精确手动交互建模的现实应用的巨大潜力.
