人类动作识别和笔记识别:使用STA-GCN的深度学习方法
Avirmed Enkhbat1, Timothy K Shih1, Pimpa Cheewaprakobkit1,2
1Department of Computer Science and Information Engineering, National Central University, Taoyuan City 32001, Taiwan.
Sensors (Basel, Switzerland)
|April 27, 2024
概括
这项研究引入了一种深度学习方法,用于在音乐表演期间同时识别人类行为和音乐音符. 这种新的方法在Morin khuur表演中实现了81.4%的准确性,在复杂的音乐环境中推进了人类行动识别 (HAR).
科学领域:
- 机器学习 机器学习
- 计算机视觉 计算机视觉
- 音乐信息检索 音乐信息检索
背景情况:
- 人类行动识别 (HAR) 对各种应用至关重要.
- 在表演中同时识别人类行为和音乐音符是一个重大挑战.
- 现有的方法经常与音乐表演的复杂性作斗争.
研究的目的:
- 提出一种基于深度学习的方法,用于同时识别人类行为和音乐音符.
- 为了应对音乐表演中HAR的挑战,特别是在Morin khuur上.
- 开发一种模型,能够准确地解释物理运动和音乐输出.
主要方法:
- 使用移动捕捉和深度传感器创建一个新的 Morin khuur 表演数据集.
- 分析RGB,深度和运动数据,以确定有价值的特征以进行识别.
- 实现一个空间时间注意力图卷积网络 (STA-GCN) 用于手势识别.
主要成果:
- 拟议的STA-GCN模型与传统的ST-GCN相比,表现优越.
- 该模型在识别动作和音符方面实现了81.4%的高精度.
- 功能分析表明了手动关键点和仪器细分的重要性.
结论:
- 开发的深度学习方法有效地实现了同时识别HAR和音乐音符.
- 该STA-GCN模型显示了音乐性能分析和HCI应用的前景.
- 这项研究为复杂的识别任务提供了一个新的数据集和一个强大的模型.
