视频异常检测和预测隐藏空间的场景依赖预测

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 视频异常检测 (VAD) 对于智能监控至关重要,但往往忽略了取决于场景的异常.
• 视频异常预测 (VAA) 是一个新兴的任务,需要主动预测未来的异常.
• 现有的数据集和方法不足以解决场景依赖的异常和VAA.

研究的目的:

• 介绍NWPU校园数据集,这是最大的半监督VAD数据集,也是第一个依赖场景的VAD和VAA.
• 为有效的场景依赖VAD和VAA提出一个新的前进-后退框架.
• 在框架内开发一个场景依赖的生成模型,以捕捉复杂的事件-场景关系.

主要方法:

• 一个分层的变化自动编码器提取场景的通用特征.
• 基于分数的扩散模型在隐性空间中改进特征并产生场景依赖的表示.
• 一个场景信息自动编码器模拟视频事件和场景之间的关系.
• 一个时间损失函数确保了视频片段中的运动一致性.

主要成果:

• 拟议的前向后向框架有效地处理现场依赖的异常检测和预测.
• 该方法在NWPU校园,上海科技和CUHK大道数据集上实现了最先进的性能.
• 场景依赖的生成模型显著有助于改进异常检测和预测准确度.

结论:

• 开发的框架和数据集提升了智能监控系统的能力.
• 解决场景依赖的异常并使预测成为强大的VAD至关重要.
• 拟议的方法在不同的数据集和场景中显示出强烈的概括性.