基于自我注意机制的头部姿势估计网络与点云和图像特征的融合
Kui Chen1, Zhaofu Wu1, Jianwei Huang1,2
1College of Civil Engineering, Hefei University of Technology, Hefei 230009, China.
Sensors (Basel, Switzerland)
|December 23, 2023
概括
这项研究引入了一种多式联络方法,用于准确的头部姿势估计,融合RGB和深度数据. 该方法增强了强度,特别是面部遮,优于现有技术.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 三维重建的3D重建
背景情况:
- 头部姿势估计对于视线跟踪和虚拟现实等应用至关重要.
- 由于依赖单个数据源,目前的方法在准确性和效率方面面临挑战.
- 准确的头部姿势估计对于人机交互和增强现实至关重要.
研究的目的:
- 开发一种使用多式联动特征融合的强大而准确的头部姿势估计技术.
- 为了解决单一来源数据依赖现有的头部位估计方法的局限性.
- 为了提高头部姿势预测的准确性和稳定性,特别是在封闭的场景.
主要方法:
- 从RGB和深度图像中整合数据,创建3D点云.
- 使用增强的PointNet与剩余的多层感知器来应对梯度挑战和减少噪音的空间自我注意.
- 使用ResNet进行特征提取,然后进行特征融合,用于遮蔽强度的评分模块,以及组合分类回归预测模块.
主要成果:
- 拟议的多式联方法显著提高了头部姿势估计的准确性.
- 该技术在存在面部遮时显示出增强的稳健性.
- 对BIWI数据集的实验显示,与现有的头部姿势估计方法相比,性能优越.
结论:
- 多模式特征融合为头部姿势估计提供了一种优越的方法.
- 开发的方法提供了准确和强大的头部姿势预测,即使有遮.
- 这项工作推进了用于各种现实应用的头部姿势估计领域.
