MultiPhys:马巴和变压器的异质融合,用于基于视频的多任务生理测量

科学领域:

• 生物医学工程 生物医学工程
• 信号处理 信号处理
• 机器学习 机器学习

背景情况:

• 远程光电显微镜 (rPPG) 提供无接触的生理监测.
• 现有的rPPG模型难以同时进行多信号估计,并且经常使用限制性单模型架构.

研究的目的:

• 开发一种先进的rPPG模型,能够同时估计多个生理信号.
• 在多任务rPPG中克服单模型架构的局限性.

主要方法:

• 介绍了MultiPhys,一种采用异质网络融合的模型.
• 集成卷积神经网络 (CNN) 用于本地特征,变压器用于全球上下文,Mamba用于效率和准确性.
• 采用了针对不同生理指标量身定制的特征选择的关门机制.

主要成果:

• MultiPhys在多个数据集中表现出卓越的性能,用于同时评估生理信号.
• 交叉数据集实验证实了该模型强大的概括能力.
• 超参数灵敏性测试验证了MultiPhys架构的稳定性.

结论:

• MultiPhys为多任务远程生理估计提供了一个有效的解决方案.
• 不同质的网络融合方法显著推进了rPPG领域.
• 该模型的性能,通用性和稳定性为更广泛的应用铺平了道路.