移动设备的实时情绪识别性能:使用果ARKit的相机和真实深度传感器的详细分析

科学领域:

• 计算机视觉 计算机视觉
• 人与计算机的交互
• 情感计算是一种情感计算.

背景情况:

• 面部特征传递有关情绪,运动功能和遗传条件的关键信息.
• 带有摄像头和深度传感器的移动设备可以为各种应用程序进行实时面部分析.
• 了解设备上的情绪识别对于开发有效的移动应用程序至关重要.

研究的目的:

• 在iPhone 14 Pro上使用果ARKit框架评估设备上情绪识别的有效性.
• 为了评估从ARKit混合形状分类面部情绪的共弦相似度指标的性能.
• 将设备系统的准确性与人类情绪识别能力进行比较.

主要方法:

• 一个本地iOS应用程序被开发来捕捉31名健康成年人的面部表情.
• 每个中提取了代表36个运动和7个离散情绪的ARKit混合形状.
• 基于原型的共因相似度指标被用来分类情绪,通过精度和AUC来衡量性能.

主要成果:

• 同位数相似性分类器的整体准确率为68.3%,超过了人类平均分类器的准确率 (58.9%).
• 对于快乐,恐惧,悲伤和惊喜,观察到高的每情感准确度,对愤怒,厌恶和蔑视有竞争性的结果.
• 在所有情绪类别中,曲线下的面积 (AUC) 值始终很高 (≥0.84).

结论:

• 在设备上使用ARKit混合形状和等号相似性的面部情绪识别是可行的,并实现了与人类可比的性能.
• 该方法在实时运行,仅使用矢量运算,确保隐私和最小的计算开销.
• 这项技术支持开发保护隐私的移动应用程序,用于实时面部分析.