FingerPoseNet:一个指数级多任务学习网络,用于3D手姿势估计的残余特征共享
Tekie Tsegay Tewolde1, Ali Asghar Manjotho1, Prodip Kumar Sarker2
1School of Computer Science and Technology, Beijing Institute of Technology, Beijing, 100081, China.
概括
FingerPoseNet通过专注于手指水平特征来增强3D手姿势估计. 这种新的方法提高了从深度图像中捕捉手臂关节的准确性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 机器人技术 机器人技术 机器人技术
背景情况:
- 当前的3D手姿势估计方法经常使用共享的特征图,限制了关键的手指水平细节的增强.
- 准确的关节到手指的关联和关节对于精确的手姿势估计至关重要,但使用现有技术捕获这些关联和关节是具有挑战性的.
研究的目的:
- 介绍FingerPoseNet,一个新的指数级多任务学习网络,用于从深度图像中准确的3D手姿势估计.
- 解决当前方法在增强手指水平特征的局限性,以改进手的关节分析.
主要方法:
- FingerPoseNet采用三级架构:一个ResNet-50骨干用于共享特征提取,一个指级多任务学习阶段用于增强个别的手指和手掌特征,以及一个多任务融合层.
- 采用多任务学习,将手姿势估计分解为六个子任务 (每个手指和手掌一个),每个处理特征提取,增强和3D关键点回归.
- 引入剩余功能共享方法,在所有子任务中挖掘补充信息,增强子任务特定的功能.
主要成果:
- 与最先进的方法相比,FingerPoseNet在准确度方面取得了显著的改进.
- 在五个具有挑战性的公共数据集 (ICVL,NYU,MSRA,Hands-2019-Task1,HO3D-v3) 上进行的实验验证实了拟议方法的有效性.
结论:
- FingerPoseNet有效地解决了在3D手姿势估计中增强手指水平特征的挑战.
- 拟议的指级多任务学习网络与残余特征共享提供了一个强大而准确的解决方案,用于从深度数据中估计3D手姿势.
