校准Phys:通过在多个摄像头之间校准,通过自主监督的基于视频的心脏和呼吸速率测量

科学领域:

• 生物医学工程 生物医学工程
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 传统的基于接触的传感器用于生理监测可能会侵入性和不那么用户友好.
• 目前用于基于视频的生命体征估计的深度学习方法通常需要广泛的,昂贵的基础真相数据进行培训.
• 需要有效且易于使用的远程生理监测方法.

研究的目的:

• 开发一种自我监督的,基于视频的方法来测量心脏和呼吸率.
• 消除对基础真相生理数据的需求,以培训深度学习模型进行生命体征估计.
• 通过多摄像头校准,使任意摄像头用于准确的生理测量.

主要方法:

• 提出了CalibrationPhys,这是一个自主监督的学习框架,利用来自多个摄像头的同步面部视频.
• 采用对比学习来训练模型,将同步视频中的预测视为正对,而来自不同视频的预测视为负对.
• 整合了数据增强技术,以提高模型的稳定性,并利用预训练模型进行相机特定的优化.

主要成果:

• 与现有方法相比,Phys 在心脏和呼吸率测量方面取得了最先进的性能.
• 该方法在两个独立的数据集中显示出有效性.
• 没有地面真相数据的自我监督训练产生了非常准确的生理估计.

结论:

• 校准Phys提供了一种实用且具有成本效益的解决方案,用于基于视频的生命体征监测.
• 多摄像头校准方法允许灵活部署各种摄像头设置.
• 这种方法显著推进了远程,非接触生理传感领域.