基于通过深度学习从短视频中提取的脉动图像的情感分类

科学领域:

• 物理计算的物理计算.
• 情感计算是一种情感计算.
• 机器学习用于情绪识别和识别.

背景情况:

• 传统的情绪识别依赖于面部表情,这可能不反映真实的情绪状态.
• 微妙或隐藏的情绪,特别是在被动观看时,很难用基于表达的方法来检测.
• 物理信号的遥感为情绪分类提供了一个非侵入性的替代方案.

研究的目的:

• 改进使用来自面部视频的生理信号的远程情绪分类方法.
• 为了提高心率估计和心跳检测,以便更准确地分析情绪.
• 为了实现更好的情绪分类准确度,使用只使用RGB相机数据的深度学习.

主要方法:

• 利用了来自110名参与者被动观看引起情绪的视频的短视频数据.
• 采用了通过皮肤传感的心血管空间时空面部模式的遥感.
• 应用机器学习,特别是EfficientNet-B0模型,对五种情绪类型进行分类 (娱乐,厌恶,恐惧,性兴奋,没有情绪).
• 整合了皮肤细分的改进,用于心率估计和心跳峰值/低谷检测.

主要成果:

• 一个EfficientNet-B0模型在情绪分类方面实现了47.36%的整体平均准确率.
• 这种准确性是使用RGB摄像机仅使用单个时空特征图得到的.
• 这项研究证明了通过生理模式进行远程情绪感知的可行性.

结论:

• 从面部视频中遥感生理模式是一种可行的情绪识别方法.
• 像EfficientNet-B0这样的深度学习模型可以有效地使用RGB摄像头的生理数据来分类情绪.
• 进一步的研究可以改进这些方法,以更准确和更强大的情绪检测.