可解释的神经网络用于视频分离:深度展开的RPCA与前景掩盖

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 信号处理 信号处理

背景情况:

• 传统的神经网络在与背景减去和前景检测同时进行斗争.
• 强大的主要组件分析 (RPCA) 是有效的,但缺乏深度学习集成.
• 现有的深度展开的RPCA网络没有明确制定前景面具.

研究的目的:

• 引入两个深部展开的神经网络 (ROMAN-S和ROMAN-R) 进行同时的视频背景减去和前景检测.
• 在深度学习框架内,利用来自蒙面RPCA的域名知识.
• 开发轻量级,可解释的网络,可以在有限的数据上进行训练.

主要方法:

• 开发了ROMAN-S和ROMAN-R,通过将乘数器的交替方向方法 (ADMM) 代映射到卷积层.
• 集成的掩盖RPCA将视频分解成低级 (背景) 和稀疏 (前景掩盖) 组件.
• 罗曼-S使用l1-l1最小化进行时相关;罗曼-R使用词典学习和重量化l1-l1最小化进行增强的前景检测.

主要成果:

• 罗曼-S和罗曼-R都优于其他深度展开网络和未经训练的优化算法.
• 罗曼-R通过前景检测的3D U-Net实现了竞争性性能.
• 与U-Net相比,ROMAN-R提供视频背景,需要的培训参数显著减少,数据集更小.

结论:

• 集成蒙面RPCA的深度展开网络为视频背景减去和前景检测提供了一种有效的方法.
• 罗曼-R为U-Net提供了一个高效的替代方案,平衡性能与减少计算和数据需求.
• 拟议的模型在未见的视频片段上展示了强大的概括能力.