对比-Phys+:无监督和弱监督的视频基于远程生理测量通过时空对比空间
IEEE transactions on pattern analysis and machine intelligence
|February 20, 2024
概括
这项研究介绍了Contrast-Phys+,这是一种用于从面部视频中进行远程光电显微镜 (rPPG) 测量的新方法. 即使没有完美的地面真实生理信号,它也能达到高精度,提供了更实用的解决方案.
科学领域:
- 生物医学工程 生物医学工程
- 计算机视觉 计算机视觉
- 信号处理 信号处理
背景情况:
- 远程光电血湿学 (rPPG) 测量来自面部视频的生理信号.
- 监督方法实现了良好的性能,但需要昂贵的地面真相 (GT) 数据.
- 获得准确的GT生理信号用于rPPG训练是具有挑战性的.
研究的目的:
- 开发一种可靠的rPPG测量方法,可在无监督和弱监督环境中进行训练.
- 为了克服需要大量GT数据的监督方法的局限性.
- 为了提高rPPG估计的效率,稳定性和通用性.
主要方法:
- 拟议的对比-物理+方法使用3DCNN模型用于时空rPPG信号生成.
- 将之前的rPPG知识纳入对比损失函数.
- 集成的GT信号进入对比的学习,以处理部分或不整齐的标签.
主要成果:
- 在五个不同的数据集 (RGB和近红外) 上,Contrast-Phys+的性能优于最先进的监督方法.
- 该方法在部分可用,不对齐或不存在GT信号的情况下表现出强的性能.
- 在计算效率,噪声强度和概括能力方面的评估优势.
结论:
- 相反-Phys+为rPPG测量提供灵活有效的解决方案,减少对完美的GT数据的依赖.
- 提出的对比学习方法提高了rPPG估计的准确性和适用性.
- 这种方法为非接触式生理监测带来了重大进步.
更多相关视频
11:28Concurrent EEG and Functional MRI Recording and Integration Analysis for Dynamic Cortical Activity Imaging
Published on: June 30, 2018
11.7K
06:32Author Spotlight: Automated Deep Brain Stimulation for Parkinson's Disease - Exploring the Possibilities and Challenges of Home Monitoring
Published on: July 14, 2023
1.3K
