mmPrivPose3D:在人机协作中使用频率调制连续波60Hz雷达进行姿势估计和手势指令识别的数据集

科学领域:

• 机器人技术 机器人技术 机器人技术
• 计算机视觉 计算机视觉
• 人与机器人的交互

背景情况:

• 3D姿势估计和手势识别对于安全的人机交互至关重要.
• 虽然RGB-D摄像头是有效的,但由于视觉数据捕获,它们存在隐私风险.
• 雷达传感器提供了一个保护隐私的替代方案,输出点云数据而不是图像.

研究的目的:

• 推出mmPrivPose3D,这是一个新的数据集,用于使用雷达数据进行3D人体姿势和手势识别.
• 促进机器学习算法的开发,用于基于雷达的人机交互.
• 为解决与传统的RGB-D摄像机系统相关的隐私问题.

主要方法:

• 采集的3D雷达点云数据使用一个IWR6843AOPEVM雷达传感器在10Hz.
• 同步的雷达数据与从RGB-D图像中提取的19个3D骨架关键点 (英特尔RealSense摄像头,30fps,Nuitrack SDK).
• 将数据集标记为15名参与者的人类手势和运动.

主要成果:

• 成功创建了mmPrivPose3D,一个综合的数据集,同步的雷达点云和3D骨架关键点数据.
• 该数据集捕捉了各种各样的人类运动和手势.
• 为推进基于雷达的姿势和手势识别提供了基础资源.

结论:

• mmPrivPose3D数据集是保护隐私的人机交互的重要资源.
• 允许对机器学习模型进行研究,以使用雷达进行准确的姿势估计和手势识别.
• 为更安全,更有效的人机协作铺平了道路.