对于驾驶员警觉估计的延迟意识跨模式知识蒸:朝着实际的边缘部署

科学领域:

• 神经科学和认知科学 神经科学和认知科学
• 生物医学工程 生物医学工程
• 机器学习 机器学习

背景情况:

• 驾驶时警估计对于安全至关重要,但在平衡模型准确性与实际,现实世界的部署方面面临挑战.
• 电脑电图 (EEG) 可以直接了解大脑活动,但对于持续的驾驶监测是不切实际的.
• 其他生理信号 (例如,电眼镜图,电皮活动,光斑显微镜) 更实用,但提供有限的信息.

研究的目的:

• 开发一种实用和准确的方法,用知识提炼来估计驾驶员的警觉性.
• 为了弥合高准确度EEG数据和更容易获得的生理信号之间的差距.
• 为了解决多模式生理信号数据中固有的时间错位问题.

主要方法:

• 提出了一个延迟意识的跨模式知识蒸框架.
• 利用EEG信号来训练一个教师模型,然后使用其他生理信号将知识蒸到学生模型中.
• 引入了一个延迟感知软对齐机制 (DASA),以处理模式之间的时间差异和异步动态.
• 设计了一个客观功能,包括跨模式一致性,补丁级别对齐和平稳规范化.

主要成果:

• 与现有方法相比,拟议的方法在警估计准确性和时间对齐方面表现优越.
• 在MMV和SEED-VIG数据集上验证的有效性.
• 保持适合边缘部署的实时性能.

结论:

• 延迟感知跨模式知识蒸方法为实际和准确的驾驶员警觉估计提供了有效的解决方案.
• DASA机制成功地解决了多模体生理信号中的时间错位问题.
• 这种方法提高了使用随时可用的生理传感器进行实时驾驶员安全监控的可行性.