骨的深度融合为行动识别提供空间-时间和动态信息
Song Gao1, Dingzhuo Zhang2, Zhaoming Tang1
1Aviation Maintenance NCO Academy, Air Force Engineering University, Xinyang 464007, China.
Sensors (Basel, Switzerland)
|December 17, 2024
概括
这项研究引入了一种新的动作识别方法,使用骨架的时空和动态特征与双流卷积神经网络 (TS-CNN). 该方法在复杂环境中显著提高了人类行动识别准确度.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 对于动作识别的传统深度学习方法的识别率很低.
- 现有的算法往往无法有效地捕捉复杂的人类运动.
研究的目的:
- 开发一个改进的动作识别算法,使用骨架的时空和动态特征.
- 在复杂的环境中提高人类行动识别的准确性和稳定性.
主要方法:
- 骨架数据被转换为提取相对关节位置,并为时空特征编码为颜色纹理图.
- 人体的约束被用来改善阶级间的区别.
- 联合速度信息被编码为动态特征的颜色纹理图.
- 使用运动突出度和形态运算符来增强特征.
- 一个双流卷积神经网络 (TS-CNN) 用于深度融合和动作识别.
主要成果:
- 开发的方法实现了高的认可率:NTU RGB-D的86.25%,西北UCLA的87.37%和UTD-MHAD的93.75%.
- 与最先进的算法相比,该方法显示出更高的性能.
结论:
- 提出的基于骨架的动作识别方法有效提高了准确性.
- 时空,动态特征和TS-CNN的结合为复杂的人类行动识别提供了强大的解决方案.


