使用基于深度卷积神经网络的多传感器融合方法进行驾驶者的心理参与分析
Taraneh Aminosharieh Najafi1, Antonio Affanni1, Roberto Rinaldo1
1Polytechnic Department of Engineering and Architecture, University of Udine, Via Delle Scienze 206, 33100 Udine, Italy.
Sensors (Basel, Switzerland)
|September 9, 2023
概括
这项研究评估了驾驶员在模拟驾驶过程中使用脑电图 (EEG),皮肤潜在反应 (SPR) 和心电图 (ECG) 等生理信号的精神参与. 传感器与深度学习的融合在区分参与程度方面实现了82.0%的准确性.
科学领域:
- 人与计算机的交互
- 神经科学是一个神经科学.
- 汽车工程 汽车工程
背景情况:
- 评估驾驶员的心理参与对于汽车安全至关重要,特别是随着自动化日益增加.
- 生理信号提供了对认知和情感状态的客观测量.
- 传感器融合技术可以通过整合多式联运数据来提高接触检测的准确性.
研究的目的:
- 在手动和自动驾驶场景中评估驾驶员精神参与状态.
- 开发和比较两个基于深度学习的传感器融合架构,用于接触检测.
- 调查结合脑电图 (EEG),皮肤潜在反应 (SPR) 和心电图 (ECG) 信号的有效性.
主要方法:
- 使用驾驶模拟器,参与者配备了EEG,SPR和ECG传感器.
- 开发了一个定制的图形用户界面 (GUI),用于实时生理信号记录和同步.
- 实现了两种深度卷积神经网络 (ConvNet) 架构用于传感器融合,包括一种新的多分支方法.
- 雇员休假-一个主体-外 (LOSO) 交叉验证模型评估.
主要成果:
- 拟议的综合EEG,SPR和ECG信号的多分支ConvNet架构实现了最高准确率82.0%.
- 与单独使用EEG相比,传感器融合,特别是在特征层面,显著提高了识别驾驶员心理参与的能力.
- 该研究证明了开发的深度学习模型在分析多式联络生理数据方面的有效性.
结论:
- 通过先进的深度学习架构集成多个生理信号 (EEG,SPR,ECG),提高了驾驶员心理参与检测的准确性.
- 这种新的多部门融合方法在驾驶员监控系统中显示出对现实应用的前景.
- 这项研究通过提供一种强大的评估驾驶员认知状态的方法,为更安全的驾驶环境做出了贡献.
