基于卡尔曼选的SAM2算法的改进,用于长期视频对象分割.

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 细分任何模型2 (SAM2) 在像素级别的细分方面表现出色,但由于其静态推断和固定的时间窗口,它在长期视频跟踪方面存在困难.
• 错误传播和跟踪不稳定性发生在SAM2中,具有快速移动的物体,遮蔽或拥挤的场景.

研究的目的:

• 引入SAM2Plus,这是一个零拍摄增强框架,旨在克服SAM2在长期视频对象细分方面的局限性.
• 在动态和具有挑战性的视觉环境中提高跟踪精度,稳定性和稳定性.

主要方法:

• 整合卡尔曼波器预测用于运动建模和轨迹改进.
• 实施动态质量值和多标准评估,以选择适应性框架.
• 开发一个优化的记忆系统,具有适应性修剪和上下文保留.

主要成果:

• SAM2Plus显示出优于SAM2的优势,在J&F指标中平均改善1.0.
• 在长期跟踪的SA-V和LVOS数据集上观察到超过2.3个点的显著增长.
• 实现了实时性能和强大的概括性,而无需微调,有效处理屏蔽和视角变化.

结论:

• SAM2Plus有效地将运动感知预测与空间细分统一,弥合静态和动态推理差距.
• 该框架为现实世界的应用程序 (如自动驾驶和监控) 提供了可扩展的解决方案.
• SAM2Plus为视频对象分割任务提供了增强的稳定性和准确性.