HRMamba:在各种照明条件下将亮度信息融合为远程生理测量

科学领域:

• 生物医学工程 生物医学工程
• 计算机视觉 计算机视觉
• 生理监测 生理监测

背景情况:

• 以摄像机为基础的光透视图 (cbPPG) 通过面部视频提供非侵入性生命体征监测.
• 深度学习方法在cbPPG中遇到弱信号提取,远程依赖和变化的照明等问题.
• 挑战包括空间时间冗余和精确的PPG提取在复杂的照明,特别是低光场景.

研究的目的:

• 开发一个端到端的深度学习方法,用于强大的cbPPG信号提取.
• 解决弱PPG信号检测和周期性模式识别方面的挑战.
• 在多样化和具有挑战性的照明条件下提高PPG信号精度.

主要方法:

• 提出了HRMamba,这是一个基于Mamba架构的端到端方法.
• 采用时间差异Mamba用于时间信号处理和双向状态空间用于强大的模式学习.
• 引入了一个光度后处理模块来提取和嵌入光度信息而不改变原始视频数据.

主要成果:

• 在cbPPG信号提取方面,HRMamba取得了最先进的性能.
• 发光量后处理模块在各种照明条件下证明了其有效性.
• 在黑暗环境中显著提高了性能,而不会影响正常光照场景的准确性.

结论:

• HRMamba为cbPPG生命体征监测提供了强大而有效的解决方案.
• 提出的方法克服了cbPPG.现有的深度学习方法的关键局限性.
• 发光模块为低光 cbPPG 应用提供了多功能增强.