在教育信息化背景下,基于虚拟现实系统的音乐教学系统的设计和研究
1School of Medical Humanities, Xinxiang Medical University, Xinxiang, 453000, China.
PloS one
|October 5, 2023
概括
本研究介绍了一种虚拟现实 (VR) 音乐教学系统,使用虚拟钢琴和双通道卷积神经网络 (DCCNN) 来进行手势识别. 该系统在识别Curwen手势方面达到高达98%的准确性,增强了VR音乐教育.
科学领域:
- 计算机科学 计算机科学
- 音乐教育 音乐教育教育
- 人与计算机的交互
背景情况:
- 虚拟现实 (VR) 提供沉浸式学习体验,在教育中具有广泛的应用.
- 将计算机辅助教学与VR相结合,可以显著提高传统教学方法.
- 音乐教育可以从交互式和技术先进的学习工具中受益.
研究的目的:
- 开发基于VR的音乐教学系统,用于钢琴教学.
- 实施一个有效的手势识别算法,用于VR环境中的用户交互.
- 在音乐教学环境中评估拟议的手势识别模型的性能.
主要方法:
- 使用HTC Vive和Leap Motion硬件与Unity3D软件开发了一个虚拟钢琴.
- 实现了一种双通道卷积神经网络 (DCCNN),用于手势指令识别.
- 利用红-绿-蓝 (RGB) 和光流图像,结合双大小卷积内核 (5x5和7x7) 进行特征提取.
主要成果:
- 在识别Curwen手势方面,DCCNN实现了96%的准确性.
- 手势识别的准确性受到使用的卷积内核的大小的影响.
- 结合5x5和7x7卷积内核,识别精度提高到98%.
结论:
- 开发的VR音乐教学系统显示了钢琴教育的巨大潜力.
- DCCNN模型在VR应用中对准确的手势识别有显著的前景.
- 这项研究为开发音乐及其他领域先进的VR教育工具提供了基础.
