通过整合明确和隐含的先前知识来推进可通用的远程生理测量

科学领域:

• 生理信号处理 物理信号处理
• 计算机视觉 计算机视觉 计算机视觉
• 生物医学工程 生物医学工程

背景情况:

• 远程光电显微镜 (rPPG) 从面部视频中捕获生理信号,在医疗保健和生物识别方面有应用.
• 目前的rPPG研究重点是跨数据集概括,但现有的方法缺乏有效的先前知识整合.
• 这种限制阻碍了各种数据源的稳健性能,例如不同的摄像头,照明,皮肤类型和运动.

研究的目的:

• 开发一个新的rPPG框架,包括明确和隐含的先前知识.
• 为了增强rPPG方法的域概括能力.
• 为了解决跨数据集rPPG评估当前方法的局限性.

主要方法:

• 在不同领域对噪声源 (摄像机,照明,皮肤,运动) 的系统分析.
• 将分析的先前知识嵌入到网络架构设计中.
• 利用双分支网络,通过隐性标签相关性,将生理特征与噪音分开.

主要成果:

• 拟议的框架在RGB交叉数据集评估中明显优于最先进的方法.
• 从RGB到近红外 (NIR) 数据集展示了强大的概括能力.
• 这种方法有效地解决了噪声变化,并提高了rPPG的准确性.

结论:

• 整合明确和隐含的先前知识对于强大的rPPG域泛化至关重要.
• 新的框架在跨数据集的rPPG性能方面取得了重大进展.
• 这项工作为在现实世界,多样化的环境中更可靠的rPPG应用铺平了道路.