使用多谱图热图分析解释音乐乐器识别CNN模型:一项初步研究
Rujia Chen1, Akbar Ghobakhlou1, Ajit Narayanan1
1Computer Science and Software Engineering Department, Auckland University of Technology, Auckland, New Zealand.
Frontiers in artificial intelligence
|January 2, 2025
概括
这项研究使用卷积神经网络 (CNN) 评估了用于乐器识别的光谱图. 梅尔频率塞普斯特拉系数 (MFCC) 和Log-Mel光谱图在分类十种仪器方面被证明是最有效的.
科学领域:
- 音乐信息检索 (MIR) 是一种音乐信息检索技术.
- 机器学习 机器学习
- 音频信号处理 音频信号处理
背景情况:
- 音乐乐器识别对于MIR至关重要,但由于信号的复杂性而具有挑战性.
- 卷积神经网络 (CNN) 越来越多地用于音频分类任务.
研究的目的:
- 为了比较各种谱图表示用于乐器识别的有效性.
- 通过统计和视觉分析来评估特征的重要性和模型可解释性.
主要方法:
- 利用CNN从NSynth数据库中对10种乐器进行分类.
- 分析了短时间里埃变换 (STFT),Log-Mel,MFCC,Chroma,光谱对比和涅茨光谱图.
- 采用视觉热图分析和统计指标 (差异平均值,KL分歧,JS分歧,地球移动器距离) 进行解释.
主要成果:
- 在仪器分类中,MFCC和Log-Mel光谱图通常表现优于其他表示.
- 不同的光谱图揭示了捕捉特定仪器特征的独特优势.
- 分析提供了关于每个特征类型的区分能力的见解.
结论:
- 谱图的选择显著影响了乐器识别性能.
- MFCC和Log-Mel频谱为基于CNN的仪器分类提供了一个强大的方法.
- 该研究增强了对优化MIR系统和改善模型解释性的理解.
