提高语音情感识别能力在短期和长期使用时间桶和积极学习的短期和长期

科学领域:

• 人工智能的人工智能
• 数据科学数据科学数据科学
• 信号处理 信号处理

背景情况:

• 语音情感识别 (SER) 已经经历了数十年的研究,提出了各种数据科学方法.
• 提高语音数据中时间维度的利用率对于增强的 SER 是至关重要的.
• 现有的方法需要大量的数据标签努力,影响成本和效率.

研究的目的:

• 介绍两种新的方法来改善从语言中推断情感.
• 加强使用语音数据的时间维度,以获得更好的 SER.
• 开发一个具有成本效益的积极学习 (AL) 方法,以长期改进SER系统.

主要方法:

• 时间分类 (Temporal Bucketing SER):一种短期方法,重点是改进语音数据的时间维度的利用.
• 基于池的积极学习 (AL) 对于SER:一种长期的方法,利用选择性抽样标准的时间桶SER.
• 在五个不同的,公开可用的数据集上进行评估:RAVDESS Speech,RAVDESS Song,IEMOCAP,EMO-DB和SAVEE.

主要成果:

• 时间分类SER超越了最先进的 (SOTA) 方法,实现了高准确率 (例如,RAVDESS Speech的91.11%,RAVDESS Song的95.29%).
• 拟议的AL方法实现了90%的最大精度,同时需要比SOTA AL方法平均少8.12%的样本.
• 与SOTA AL和被动学习相比,AL方法在标签上节省了显著的成本,从5%到20%.

结论:

• 拟议的临时桶式SER方法在语音情感识别方面提供了卓越的性能.
• 新的AL方法有效地减少了所需标记样本的数量和相关成本.
• 这些方法为随着时间的推移开发和维护SER系统提供了更有效,更准确的方法.