PhysMLE:可通用和包括Priors的多任务远程生理测量

科学领域:

• 生物医学工程 生物医学工程
• 计算机科学 计算机科学
• 生理信号处理 生理信号处理

背景情况:

• 远程光电脉冲图 (rPPG) 从面部视频中测量心率,域概括 (DG) 对于算法稳定性至关重要.
• 将rPPG扩展到多个生命体征 (例如呼吸,血液氧和) 具有挑战,因为标签空间稀疏和不平衡,因此在实现概括性方面存在挑战.
• 现有的多任务学习方法可能会受到摇摆效应的影响,阻碍特定任务的特征学习.

研究的目的:

• 为多任务远程生理测量开发一种有效和可通用的模型.
• 解决多任务rPPG中的稀疏和不平衡标签空间的挑战.
• 引入一个新的框架,利用共享和特定任务的特征,改进多模式生理信号估计.

主要方法:

• 为多任务远程生理测量 (PhysMLE) 模型设计了一个端到端的低级专家混合.
• 在PhysMLE中使用了一种新的路由器机制来管理任务规范和相关性.
• 纳入生理学先验知识,以减轻标签空间不平衡,增强多任务学习.

主要成果:

• 在拟议的多源语义域泛化 (MSSDG) 基准和数据集内部评估的广泛实验中,PhysMLE证明了有效性和效率.
• 该模型成功地处理了远程生理测量多任务学习的复杂性.
• 实现了用于同时估计多个生命体征的改进的概括性.

结论:

• PhysMLE为多任务远程生理测量提供了强大的解决方案,在通用性方面优于现有方法.
• 拟议的MSSDG协议和附带的数据集为未来在这一领域的研究提供了宝贵的资源.
• 该研究强调了低级专家模型和生理学先验的潜力,以推进多模式rPPG应用.