PMMCT:一个并行多模式CNN转换器模型来检测缓慢的眼睛运动,以识别司机昏昏欲睡
Yingying Jiao1, Jiajia Zhang1, Zhuqing Jiao1
1School of Computer Science and Artificial Intelligence, Aliyun School of Big Data, Changzhou University, Changzhou 213159, China.
Sensors (Basel, Switzerland)
|September 27, 2025
概括
在使用慢眼动 (SEM) 的司机中检测睡眠开始期 (SOP) 对道路安全至关重要. 一个新的并行多式联网CNN-变压器模型准确地识别了SEM,大大减少了事故.
科学领域:
- 神经科学是一个神经科学.
- 计算机科学 计算机科学
- 交通运输安全 运输安全
背景情况:
- 司机昏昏欲睡是道路交通事故的重要原因之一.
- 缓慢眼动 (SEM) 是睡眠开始期 (SOP) 的可靠生理指标.
- 准确检测SOP对于防止昏昏欲睡的驾驶事故至关重要.
研究的目的:
- 提出和评估一种新的并行多式联网变压器 (PMMCT) 模型,用于检测SEM和识别司机的SOP.
- 用双模信号组合来评估PMMCT模型的性能.
- 将PMMCT模型的有效性与现有的深度学习架构进行比较.
主要方法:
- 使用卷积层和变压器编码器层开发具有并行特征提取模块的PMMCT模型.
- 处理双模信号,特别是HEOG + O2和HEOG + HSUM (捕获类似EEG特征的新组合).
- 提取特征的融合和使用完全连接的层进行分类.
主要成果:
- PMMCT模型实现了高性能,平均分类准确率为99.89%,F1得分为99.35%.
- 在F1得分方面,HEOG + HSUM组合的表现与HEOG + O2相当,并且在F1得分方面表现比单式HEOG高2.73%.
- 该模型显示了最小的假阳性 (5.2) 和假阴性 (0.8),超过了CNN,CNN-LSTM和CNN-LSTM注意力模型.
结论:
- 该PMMCT模型有效地检测SEM识别司机的SOP,结合CNNs的本地特征提取与变压器的全球时间建模.
- HEOG + HSUM双模组合为SOP检测提供了一个有希望的替代方案,可能减少对更复杂的EEG设置的需求.
- 该系统为可穿戴应用程序提供卓越的性能和增强的舒适性,有助于提高道路安全.
