EvHandPose:以事件为基础的3D手姿势估计与稀缺的监督

科学领域:

• 计算机视觉 计算机视觉
• 机器人技术 机器人技术 机器人技术
• 机器学习 机器学习

背景情况:

• 事件摄像机提供低功耗,高动态范围的成像,适合3D手姿势估计.
• 挑战包括运动模糊性和难以注释密集事件流的困难.

研究的目的:

• 开发一种基于事件的准确和强大的3D手姿势估计方法.
• 为了解决事件数据中的动作模两可和稀疏注释问题.
• 创建一个大规模的,现实世界的数据集以以事件为基础的手姿势估计.

主要方法:

• 拟议的 EvHandPose 在 Event-to-Pose 模块中提供了新的手流表示.
• 在Pose-to-IWE模块中引入了对比度最大化和边缘限制,用于弱监控.
• 开发了EvRealHands,这是一个大型的真实世界数据集,用于基于事件的手姿势.

主要成果:

• 在EvRealHands数据集上,EvHandPose的表现优于以往基于事件的方法.
• 在具有挑战性的条件下 (快速运动,强光) 实现准确,稳定,高时间分辨率的手姿势估计.
• 对户外场景和不同的事件摄像机类型表现出强大的概括性.

结论:

• EvHandPose有效地减轻了动作模糊性,并在稀疏的注释下强大执行.
• 该方法实现了基于事件的手姿势估计的最先进性能.
• EvRealHands数据集促进了未来的研究,并弥合了真实合成领域的差距.