基于CNN-LSTM-DSA的轻量级视觉动态手势识别系统
Zhenxing Wang1, Ziyan Wu1, Ruidi Qi1
1School of Computer and Information Engineering, Shanghai Polytechnic University, Shanghai 201209, China.
Sensors (Basel, Switzerland)
|March 14, 2026
概括
本研究介绍了一种使用CNN-LSTM-DSA模型的轻量级视觉动态手势识别系统,用于在嵌入式设备上有效部署. 该系统对于静态 (96%) 和动态 (90.19%) 的手势都具有很高的准确性,响应延迟很小.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 机器学习 机器学习
背景情况:
- 大规模的手势识别模型在计算复杂性和嵌入式部署方面面临挑战.
- 高效准确的手势识别对于人机交互和控制系统至关重要.
研究的目的:
- 设计和实施一个轻量级的视觉动态手势识别系统.
- 解决计算复杂性,并使嵌入式设备上的高效部署成为可能.
- 为了实现复杂的静态和动态手势的高精度识别.
主要方法:
- 使用了一种轻量级的卷积神经网络 (CNN) - 长期短期记忆 (LSTM) - 动态分段分配 (DSA) 模型.
- 使用MediaPipe从摄像机捕捉的手图像中提取3D关键点坐标.
- 实现了关节角度计算和滑动窗口平滑,用于静态手势识别.
- 模拟关键点时间序列使用CNN-LSTM-DSA混合模型进行动态手势识别.
主要成果:
- 实现了高达96%的静态手势识别精度和90.19%的动态手势识别精度.
- 在各种照明和背景条件下表现出强性.
- 保持了不到300 ms的整体响应延迟.
- 确保顺的伺服电机角度映射和稳定的机器人手动.
结论:
- 拟议的轻量级CNN-LSTM-DSA系统有效地克服了手势识别模型复杂性和部署方面的挑战.
- 该系统为静态和动态手势识别提供了强大而准确的解决方案.
- 这种方法促进了高效的人机交互和控制嵌入式系统上的应用程序.
