LidPose:实时3D人类姿势估计在稀疏的Lidar点云中,具有非重复的圆形扫描模式

科学领域:

• 计算机视觉 计算机视觉
• 机器人技术 机器人技术 机器人技术
• 传感器融合式传感器

背景情况:

• 人类姿势估计对于监视和人机交互至关重要.
• 现有的方法难以处理稀疏且具有独特模式的激光雷达数据,特别是来自非重复循环扫描 (NRCS) 传感器的数据.
• 平衡空间和时间分辨率是分析NRCS激光雷达数据的关键.

研究的目的:

• 开发一种新的,端到端的姿势估计方法,用于NRCS激光雷达点云中实时检测人类骨.
• 调整现有的视觉转换器架构,以处理NRCS lidars的稀疏性和扫描模式.
• 创建一个全面的数据集来评估基于激光雷达的人类感知.

主要方法:

• 提出LidPose,这是一个基于视觉转换器的方法,基于ViTPose.
• 引入了适应处理NRCS激光雷达数据稀疏性和扫描模式的调整.
• 实现了对感兴趣区域 (ROI) 选择的前景/后景细分.
• 使用原始NRCS激光雷达测量序列来检测移动的行人和骨架.

主要成果:

• LidPose通过NRCS激光雷达数据展示了有效的实时人类骨估计.
• 该方法成功地解决了数据稀疏性和扫描模式的挑战.
• 为了评估,创建了一个新的,现实世界的,多模式数据集,具有2D/3D骨架地面真相.

结论:

• LidPose 提供了一种可靠的解决方案,用于使用 NRCS 激光雷达实时估计人类骨.
• 开发的方法和数据集推进了基于激光雷达的监控感知领域.
• 这项工作为在具有挑战性的环境中改进行人检测和分析铺平了道路.