Spiking-PhysFormer:基于相机的远程光电解剖学与并行尖驱动的变压器

科学领域:

• 生物医学工程 生物医学工程
• 计算机科学 计算机科学
• 人工智能的人工智能

背景情况:

• 基于摄像头的远程光电显微镜 (rPPG) 使用人工神经网络 (ANN) 来准确测量面部视频中的生理信号.
• 现有的基于ANN的rPPG方法的高计算需求限制了它们在资源有限的移动设备上部署.
• 尖端神经网络 (SNN) 通过它们的二进制事件驱动架构提供节能深度学习.

研究的目的:

• 首次将SNN引入rPPG,开发一种名为Spiking-PhysFormer的节能混合神经网络 (HNN) 模型.
• 为了减少实际移动设备应用的rPPG系统的功耗.
• 与现有方法相比,保持或提高生理信号提取 (如心率,呼吸率) 的准确性.

主要方法:

• 提出了一个混合神经网络 (HNN) 模型,Spiking-PhysFormer,集成ANN和SNN组件.
• 开发了一个并行尖峰变压器块,以增强SNN中的时空特征聚合.
• 引入了一种简化的尖端自我注意机制,省略了值参数,以减少计算负载而不会降低性能.

主要成果:

• 与PhysFormer模型相比,Spiking-PhysFormer实现了10.1%的整体功耗降低.
• 变压器块内的电力消耗被减少了12.2.2的系数.
• 该模型在四个基准数据集 (PURE,UBFC-rPPG,UBFC-Phys,MMPD) 中表现出与PhysFormer和其他基于ANN的模型相当的性能.

结论:

• 拟议的Spiking-PhysFormer有效地利用SNN进行节能rPPG,解决移动设备上传统ANN的局限性.
• 混合方法和简化的SNN机制为低功耗,准确的生理监测提供了一个有希望的方向.
• 这项工作为在具有有限计算资源的边缘设备上部署先进的rPPG技术铺平了道路.