MelTrans:通过变压器学习语音情感识别的Mel-频谱关系学习
Hui Li1,2, Jiawen Li2, Hai Liu2
1School of Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan 430074, China.
Sensors (Basel, Switzerland)
|September 14, 2024
概括
这项研究介绍了MelTrans,一种基于变压器的语言情感识别 (SER) 模型. MelTrans有效地捕捉了微妙的情绪线索和语音中的远程依赖性,在关键数据集上表现优于以前的基准.
科学领域:
- 人工智能的人工智能
- 人与计算机的交互
- 信号处理 信号处理
背景情况:
- 语音情感识别 (SER) 对于自然的人机交互至关重要.
- 现有的SER方法与微妙的情绪和杂的环境作斗争.
- 需要先进的特征提取和依赖性建模来实现强大的 SER.
研究的目的:
- 介绍MelTrans,一种基于变压器的新型模型,用于增强语音情感识别.
- 为了应对检测微妙的情绪细微差别和识别噪音语言中的情绪的挑战.
- 提高SER系统的准确性和稳定性.
主要方法:
- 开发了MelTrans,这是一个基于变压器的双流模型.
- 利用语音MEL谱图来捕捉广泛的依赖关系.
- 专注于学习的核心特征和语音数据中的远程依赖.
主要成果:
- 在EmoDB数据集上,MelTrans实现了92.52%的准确性.
- 在IEMOCAP数据集上,MelTrans实现了76.54%的准确性.
- 在捕获关键线索和远程依赖方面表现出卓越的性能.
结论:
- MelTrans有效地解决了语音情感识别中的复杂挑战.
- 该模型在EmoDB和IEMOCAP数据集上为SER设定了新的基准.
- 突出了变压器架构在语音中微妙的情感检测方面的潜力.
