基于面部表情和远程光电显微信号的端到端多模式情绪识别

科学领域:

• 情感计算是一种情感计算.
• 人与计算机的互动.
• 生理信号处理 物理信号处理

背景情况:

• 由于人类情绪状态的复杂性,准确的情绪识别具有挑战性.
• 单一模式的方法往往无法捕捉到全方位的情绪.
• 无接触生理信号为不引人注目的情绪监控提供了一个有希望的途径.

研究的目的:

• 开发一个端到端的多式联络式情绪识别方法.
• 整合面部表情与非接触生理信号,以提高准确性.
• 评估基于变压器的跨模态注意力机制 (TCMA) 在融合这些模式中的有效性.

主要方法:

• 从面部视频数据中提取了面部表情特征和远程光电显微镜 (rPPG) 信号.
• 基于变压器的跨模态注意力机制 (TCMA) 用于学习跨模态相关性.
• 建议的方法是使用二进制和四类情绪分类任务来评估的.

主要成果:

• 将面部表情与rPPG信号相结合显示,情绪识别准确度略有改善.
• TCMA显著提高了性能,实现了对价值的91.11%的二元分类准确性和对兴奋的90.00%.
• 与单独的面部表情相比,基于TCMA的融合提高了准确度7.31% (价值) 和4.23% (激发) 的二元分类和5.36%的四类分类.

结论:

• 拟议的多式联络方法有效地整合了面部表情和非接触式生理信号.
• 在融合多式联络数据以实现情绪识别方面,TCMA表现出显著的有效性和稳定性.
• 这种方法为使用非接触式传感的多式联络情感识别在现实世界中应用铺平了道路.