可解释的特征选择和基于深度学习的虚拟现实情感识别,使用眼球追踪器和生理数据
1College of Computer Science and Engineering, University of Hail, Ha'il, Saudi Arabia.
Frontiers in medicine
|September 27, 2024
概括
本研究展示了在虚拟现实 (VR) 中使用可解释机器学习 (ML) 和深度学习 (DL) 的高级情感识别 (ER). 注意LSTM和深度神经网络在VR环境中识别情绪时实现了近乎完美的准确性.
科学领域:
- 心理学计算 心理学计算
- 人与计算机的交互 (HCI)
- 情感计算是一种情感计算.
背景情况:
- 情绪识别对于理解人类状态至关重要.
- 虚拟现实 (VR) 和脑电图 (EEG) 为情绪检测提供了新的途径.
- 将先进的计算方法与VR整合在一起是一个不断增长的研究领域.
研究的目的:
- 通过使用可解释的ML和DL在VR中调查情绪识别.
- 评估各种ML/DL模型在情绪分类任务上的表现.
- 利用VREED多式联络数据集在VR中进行强大的情感识别.
主要方法:
- 使用了支持向量分类器 (SVC),K-最近邻居 (KNN),后勤回归 (LR),深度神经网络 (DNN) 和长短记忆 (LSTM) 变体.
- 应用数据预处理,包括处理缺失值和规范化.
- 在VR环境中使用可解释的AI技术来预测情绪.
主要成果:
- 注意 LSTM 模型在二元情绪分类中表现出卓越的性能.
- 深度神经网络 (DNN) 和注意力LSTM在多类分类中实现了非常高的准确性 (高达99.99%).
- 在训练和验证情绪识别模型方面,VREED数据集被证明是有效的.
结论:
- 可解释的ML和DL方法在VR中对情绪识别非常有效.
- 将VR与先进的人工智能集成,提高了情绪检测的准确性和可靠性.
- 未来的研究可以在这些发现的基础上构建更复杂的情感计算应用.
