通过NIR单像素成像和飞行时间技术增强3D人体姿势估计:一种深度学习方法

科学领域:

• 计算机视觉 计算机视觉
• 生物医学成像技术 生物医学成像技术
• 机器学习 机器学习

背景情况:

• 从单个图像中提取3D人体姿势和形状是具有挑战性的,因为照明和遮蔽.
• 传统的RGB成像方法在不利的条件下扎.
• 单像素成像 (SPI) 提供了一个强大的替代方案,特别是在近红外 (NIR) 频谱中.

研究的目的:

• 调查使用NIR SPI与飞行时间 (TOF) 进行夜间人类检测.
• 开发一种深度学习系统,用于在低光条件下精确的3D人体姿势和身体形状提取.
• 评估NIR-SPI对户外监控和人类传感的可行性.

主要方法:

• 使用一个SPI摄像头在NIR频谱 (850-1550nm) 中运行,具有TOF.
• 采用视觉变压器 (ViT) 模型用于人体特征检测和提取.
• 集成的提取功能与SMPL-X 3D身体模型进行基于深度学习的3D身体形状回归.

主要成果:

• 在模拟的夜间环境中使用NIR-SPI.成功检测人类.
• 实现了精确的3D人体姿势和身体形状重建.
• 验证了NIR-SPI作为在具有挑战性的条件下可靠的视觉传感器的潜力.

结论:

• 与TOF一起的NIR-SPI是用于夜间人类检测和3D姿势/形状估计的有前途的技术.
• 这种方法克服了传统RGB成像在低光和封闭场景中的局限性.
• 开发的深度学习系统显示了监控和人机交互中的真实应用的巨大潜力.