在数字舞蹈中,基于半监督学习和长短期记忆网络的运动特征提取
Xue Yang1, Hanmin Sun2, Yin Lyu1,3
1College of Music, Huaiyin Normal University, Huai'an, China.
Frontiers in neurorobotics
|February 16, 2026
概括
这项研究引入了一种用于舞蹈分析的新人工智能模型,准确地将运动数据映射到具有有限标记数据的3D关键点. 这种轻量级,半监督的管道实现了数字舞蹈和表演的高识别率.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 舞蹈技术 舞蹈技术 舞蹈技术 舞蹈技术
背景情况:
- 数字图像技术为舞蹈提供了新的创造性途径.
- 准确地将低层次的运动数据映射到高层次的舞蹈关键点是具有挑战性的,尤其是在稀缺的标记数据的情况下.
研究的目的:
- 开发一个轻量级的,半监督的管道,从深度序列中提取运动特征.
- 实时将这些特征映射到3D舞者的关键点.
- 以有限的标记数据来实现准确的舞蹈分析.
主要方法:
- 一个新的长期短期记忆-卷积神经网络 (LSTM-CNN) 框架被提议用于像素级对齐.
- 使用LSTM提取时间上下文特征,然后通过卷积层捕获多维空间特征.
- 嵌入了在线硬实例挖掘 (OHEM) 策略和加权损失函数,用于半监督学习,只能在20%的标记样本上实现趋同.
主要成果:
- 该模型在MSR-Action3D数据集上实现了96.9%的平均识别率,超过了最佳比较方法的1.1%.
- 在自主建立的数据集上,准确度达到97.99%,与以前的方法相比,培训时间减少了35%.
- 低根平均平方误差 (RMSE) 值 (≤0.032) 证实了预测和基本真相关键点之间的高空间精度.
结论:
- 拟议的模型可靠地跟踪微妙的舞蹈手势,并提供有限的注释.
- 它提供了一种高效,低成本的解决方案,用于数字编舞,动作风格转移和交互式舞台表演.
- 半监督方法显著减少了在舞蹈运动分析中需要大量标记数据的需求.
