使用时空视频序列和姿势特征的空间时空多模式情绪识别用于儿童情绪分类

科学领域:

• 发展心理学 发展心理学
• 情感计算是一种情感计算.
• 计算机视觉 计算机视觉

背景情况:

• 准确识别儿童的情绪线索在发育心理学和情感计算中至关重要.
• 现有的方法往往与儿童情绪表达的动态和微妙性质作斗争.
• 需要强大的系统,能够分析多式联络数据,以可靠地识别情绪.

研究的目的:

• 为儿童情绪分类提出一个新的空间时空多模式情绪识别网络 (ST-MERN).
• 为了利用密集的功能嵌入和时间视频序列来增强情绪检测.
• 评估ST-MERN的性能与LSTM和TCN等既有模型相比.

主要方法:

• 使用了EmoReact数据集,每个视觉信号实例有115个连续.
• 整合了旋转-翻译向量,面部关键点和姿势预测.
• 捕获的动态数据包括尺度和对的变化 (r_x,r_y,r_z,t_x,t_y) 和潜在的特征 (p24-p33).

主要成果:

• 拟议的ST-MERN使用基于BiLSTM的架构实现了93.6%的高验证精度和94.3%的测试精度.
• 在BiLSTM模型中,表现出优异的概括性和F1得分为0.92.
• 时间卷积网络 (TCN) 变种实现了91.7%的测试准确度,推断时间快 (~0.8s).

结论:

• 该ST-MERN有效地捕捉了儿童微妙的情绪表达,在概括方面表现优于以前的模型.
• 该系统提供了对情绪表现的动态性敏感的可解释的分类.
• 这项研究为社会敏感的人工智能系统,治疗工具和教育材料奠定了基础.