从智能手机视频中识别16种不同的情绪:机器学习和人类表现的比较研究
Marie Keinert1, Simon Pistrosch2,3, Adria Mallol-Ragolta2,3
1Department of Clinical Psychology and Psychotherapy, Friedrich-Alexander-Universität Erlangen-Nürnberg, Erlangen, Germany.
这项研究使用新数据集开发了16种情绪的自动面部情绪识别 (FER) 模型,发现外表特征表现最好. 人类观察者在二进制任务中可比较,但在多类情绪识别方面优越.
科学领域:
- 计算心理学和情感计算.
- 开发人工智能用于心理健康应用.
背景情况:
- 自动情绪识别 (FER) 对于推进心理治疗应用至关重要.
- 当前的模型往往忽略了治疗相关的情绪,超出了基本的六种情绪.
- 小说介绍 通过情绪识别进行压力减轻训练-奥兹魔法师 (STREs WoZ) 数据集,包含16种不同的情绪.
研究的目的:
- 开发和评估基于深度学习的FER模型,用于二进制和多类情绪分类.
- 为了比较自动FER模型与人类观察者的性能.
主要方法:
- 在STREs WoZ数据集上训练FER模型 (14,412个视频,63个个体,16种情绪).
- 使用外观特征 (通过OpenFace进行面部动作编码系统) 和深度学习特征 (ResNet50).
- 为了分类,使用了循环神经网络 (RNN) 架构 (RNN-卷积,RNN-注意,RNN-平均值).
- 在3018个视频的测试组中,对3个人类观察者进行了验证模型.
主要成果:
- 使用外观特征的FER模型表现优于深度学习或组合特征.
- 具有外观特征的注意网络获得了最高的性能 (92.9%的UAR在二进制中,59.0%-90.0%的准确性在多类中).
- 人类观察者在二进制任务中表现相似 (91.0% UAR),但在多类任务中表现出更高的准确性 (87.4%-99.8%).
结论:
- 这项研究为通过智能手机应用程序增强以情绪为中心的心理治疗干预提供了基础性步骤.
- 需要进一步的研究来改善自动FER模型的性能,以便在实际临床应用中使用.
更多相关视频
05:51Exploring the Use of Isolated Expressions and Film Clips to Evaluate Emotion Recognition by People with Traumatic Brain Injury
Published on: May 15, 2016
07:12Protocol for Data Collection and Analysis Applied to Automated Facial Expression Analysis Technology and Temporal Analysis for Sensory Evaluation
Published on: August 26, 2016
相关概念视频
Facial Feedback Hypothesis
Labeling Emotion
Physiology of Emotion
Autonomic Nervous System
The autonomic nervous system (ANS) plays a critical role in emotional responses by regulating involuntary physiological functions. It consists of two main components: the sympathetic and parasympathetic systems. The sympathetic system...
Emotional Expression
Universal Facial Expressions
Psychologist Paul Ekman identified seven basic...
Muscles for Facial Expressions
Association Areas of the Cortex
Prefrontal Association Area: This area is located in the frontal lobe and is involved in planning, decision-making, and moderating social behavior. It connects with primary motor areas,...
