深度学习和机器人启用方法用于基于音频的情感实用主义在社会沟通障碍中的缺陷识别

科学领域:

• 机器人和人工智能 机器人和人工智能
• 计算语言学 计算语言学
• 语音 情感 识别 语言

背景情况:

• 社会实用性沟通缺陷往往表现为理解和表达情绪的困难.
• 目前评估情感实用性的方法可能是主观的,耗时的.
• 需要客观的,自动化的工具来识别这些赤字.

研究的目的:

• 开发深度学习 (DL) 启用机器人系统,用于识别基于音频的情感实用性的缺陷.
• 将DL与机器人技术集成在一起,以提高情感沟通挑战的检测能力.
• 为具有社会务实沟通缺陷的个人提供潜在的工具.

主要方法:

• 在开源音频情感数据集上利用机器学习和DL分类技术.
• 应用Mel-Frequency Cepstral Coefficients (MFCC) 来进行音频信号的预处理和特征提取.
• 实现了一维DL算法,包括1D卷积神经网络,长期短期记忆和双向长期短期记忆.

主要成果:

• 双向长期短期记忆 (BiLSTM) 模型表现出卓越的性能,准确度为96.24%,损失为0.2524,精度为92.87%,回忆率为92.87%.
• 在这种情况下,DL模型,特别是BiLSTM,在情感识别方面比传统的机器学习算法更有效.
• MFCC特征提取方法提高了情绪分类的准确性.

结论:

• 支持DL的机器人系统可以有效地识别基于音频的情感实用性的缺陷.
• 开发的BiLSTM模型为情绪检测提供了高精度和可靠性.
• 提出的方法可以作为一个潜在的实时诊断和干预工具,用于实用沟通缺陷的个人.