一种新的多模块神经网络策略,用于在人机交互中识别人类情绪

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 人类情感识别 (HER) 对于安全,客户服务,医疗保健和人机交互等应用至关重要.
• 现有的HER技术需要先进的模型来准确识别情绪.

研究的目的:

• 设计和开发一种新型多模块神经网络 (MMNN) 架构,用于实际的人类情感识别.
• 通过将MMNN与转移学习 (TL) 集成来提高HER的性能,以训练卷积神经网络 (CNN).

主要方法:

• 一个深层次的整体分类结构,包括MobileNetV3,视觉变压器 (ViT),RegNet和SE-ResNeXt.
• 从四个CNN模型中进行特征聚合,以训练MMNNs分类模型.
• 整合了一种新型的检测转换器 (DETR) 与CNN学习区块,编码解码器转换器和前送网络 (FFN).

主要成果:

• 在AffectNet (91.07%),CK+ (87.03%) 和自定义数据集 (96.98%) 上,MMNNs模型实现了高精度.
• 数据增强进一步提高了准确度,达到95.09% (AffectNet),89.15% (CK+) 和98.13% (CMD).
• DETR组件提高了面部识别的效率和准确性.

结论:

• 拟议的MMNNs架构与DETR在人类情绪识别方面取得了重大进展.
• 该模型在各种数据集中展示了强大的性能,突出了其实际适用性.
• 转移学习和组合方法是提高 HER 准确性的有效策略.