多元财政框架网络:一种轻量级的多频网络,用于从面部视频中测量心律

科学领域:

• 生物医学工程 生物医学工程
• 信号处理 信号处理
• 人工智能的人工智能

背景情况:

• 远程光电显微镜 (rPPG) 通过分析面部视频来分析心律,提供基于摄像头的健康监测.
• 现有的rPPG深度学习模型实现了高精度,但在照明变化,运动工件和计算需求方面遇到了困难.
• 这些局限性阻碍了rPPG在现实场景中的实际应用.

研究的目的:

• 开发一个轻量级和高效的深度学习网络,MFF-Net,用于从面部视频中准确测量心律.
• 在rPPG分析中解决照明变化,运动工件和计算负担的挑战.
• 通过使用面部视频数据实现可靠和可访问的实时健康监测.

主要方法:

• 提出了多频模式信号融合 (MFF) 机制,以分离和处理不同模式的rPPG信号,提高噪音环境中的准确性.
• 引入了一个时间多尺度卷积模块 (TMSC模块),用于扩展受体场和更丰富的多尺度信息提取.
• 开发了一种频谱自我注意模块 (SSA模块),以帮助信号重建和多维信号合并.
• 实施过度装配抽样培训计划,以提高网络通用化和装配能力.

主要成果:

• 与基准数据集上的最先进方法相比,MFF-Net在估计心率 (HR) 和心率变化 (HRV) 方面表现优异.
• 拟议的网络在显著降低计算负担的情况下实现了这些结果.
• 多年框架机制,TMSC模块和SSA模块在复杂的噪音条件下有效地改善了血液体积脉冲 (BVP) 信号的恢复.

结论:

• 多元金融框架网络为基于rPPG的心律监测提供了一种计算效率高和强大的解决方案.
• 开发的网络有效地减轻了rPPG分析中的常见挑战,例如照明变化和运动工件.
• 多年财政框架网络显示出在各种现实世界健康监测应用中部署的巨大潜力.