远程生理信号恢复与高效的时空建模.

科学领域:

• 生物医学工程 生物医学工程
• 信号处理 信号处理
• 机器学习 机器学习

背景情况:

• 通过远程光电显微镜 (rPPG) 的无接触生理监测在健康和情感计算方面有着重要的应用.
• 现有的rPPG深度学习方法易受运动和照明工件的影响,限制了它们的时间特征利用.

研究的目的:

• 开发一种基于时空建模的高效方法,用于强大的rPPG信号恢复.
• 提高视频数据的生理测量的准确性和概括性.

主要方法:

• 利用3D中央差异卷积用于时间上下文建模和Huber损失用于强大的强度级rPPG恢复.
• 采用双分支结构,对运动和外观建模给予了温和的关注.
• 引入了多任务学习设置,用于联合心脏和呼吸信号测量.

主要成果:

• 在三个公共数据集中实现了比尔森相关系数高于0.96的结果,超过了最先进的方法.
• 通过交叉数据库和视频压缩实验表现出强大的概括能力.
• 废弃性研究证实了每个拟议模块的有效性和必要性.

结论:

• 拟议的时空建模方法显著提高了基于rPPG的生理信号测量的准确性和稳定性.
• 该方法为可靠的非接触式健康监测和情感计算应用提供了有前途的解决方案.