通过自我监督学习,基于面部视频的远程生理测量

科学领域:

• 生物医学工程 生物医学工程
• 计算机视觉 计算机视觉
• 信号处理 信号处理

背景情况:

• 远程生理测量通过使用远程光电显微镜 (rPPG) 来估计面部视频中的生命体征.
• 当前的深度学习方法需要大量的注释数据 (面部视频与同步光电解剖学信号),这是很难收集的.
• 需要无监督或自我监督的方法来克服数据采集的挑战.

研究的目的:

• 开发一种新的自我监督框架,用于估计从面部视频中获得的rPPG信号.
• 为了使生命体征测量 (心率,呼吸频率) 而不需要地面真相光电脉学信号.
• 提高远程生理监测的效率和可访问性.

主要方法:

• 提出了一个以频率为灵感的自我监督学习框架.
• 视频样本被增强为具有相似/不相似频率的阳性和阴性样本.
• 使用可学习的频率增强模块和本地rPPG专家聚合模块.
• 为了优化,引入了基于频率的损失 (对比,比率一致性,跨视频协议).

主要成果:

• 拟议的方法成功地估计了rPPG信号,而没有地面真相光电系统学数据.
• 在五个基准指标中观察到心率,心率变化和呼吸频率估计的显著改善.
• 该框架展示了最先进的性能,远远超过现有方法.

结论:

• 这种新型的自我监督框架有效地从面部视频中学习rPPG信号.
• 这种方法消除了对同步录制的光电显微镜信号的依赖,简化了数据收集.
• 该方法为准确和可访问的远程生命体征监测提供了一个有希望的解决方案.