从双模态RGB-NIR摄像头的面部图像序列中估计心率.
Wen-Nung Lie1, Dao-Quang Le1, Chun-Yu Lai1
1Department of Electrical Engineering, Center for Innovative Research on Aging Society (CIRAS), and Advanced Institute of Manufacturing with High-Tech Innovations (AIM-HI), National Chung Cheng University, Chia-Yi 621, Taiwan.
Sensors (Basel, Switzerland)
|July 14, 2023
概括
这项研究引入了一种RGB-NIR双模技术,用于使用面部视频进行准确的远程心率估计. 该方法采用先进的无声化技术,以有效地分析远程光电发电图 (rPPG) 信号,即使在具有挑战性的条件下.
科学领域:
- 生物医学工程 生物医学工程
- 计算机视觉 计算机视觉
- 信号处理 信号处理
背景情况:
- 远程光电发电图 (rPPG) 分析使得无接触的心率估计成为可能.
- 现有的rPPG方法经常与噪音和不同的照明条件作斗争.
- 双模式 (RGB-NIR) 方法为改进信号提取提供了潜力.
研究的目的:
- 开发和验证RGB-NIR双模技术,以实现可靠的远程心率估计.
- 引入新的无声化技术 (MASF,WD,RPCA) 进行增强的rPPG信号分析.
- 在不同的照明和运动条件下,评估系统在不同数据集上的性能.
主要方法:
- 使用基于独立组件分析 (ICA) 的算法进行rPPG信号提取.
- 实施了修改幅度选择性过 (MASF),波段分解 (WD) 和强大的主要组件分析 (RPCA) 进行无声化.
- 使用英特尔RealSense D435摄像头收集和分析了来自公共PURE数据集和自定义CCUHR数据集的数据.
主要成果:
- 与最先进的方法相比,甚至在短视频时间内也获得了竞争力的准确性.
- 在CCUHR数据集中,RGB-NIR视频 (10-20秒) 的证明平均绝对误差 (MAE) 为4.45bpm,RMSE为6.18bpm.
- 在PURE数据集中,RGB视频 (60秒) 的报告MAE为3.24bpm,RMSE为4.1bpm.
结论:
- 拟议的RGB-NIR双模式rPPG技术提供了准确的心率估计.
- 综合无声化方法在各种条件下有效地提高了rPPG信号质量.
- 该系统具有可访问硬件,高效计算和广泛应用的优势.
