Pro2Diff:通过扩散模型进行多对象跟踪的提案传播
概括
这项研究介绍了Pro2Diff,一种新的多对象跟踪 (MOT) 方法,使用扩散模型来改进视频中的对象检测和ID标签. 通过专注于培训过程而不是复杂的网络架构,Pro2Diff提高了跟踪性能.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 多对象跟踪 (MOT) 涉及对视频中的对象界限框和ID标签的估计,在平衡检测和跟踪子任务方面面临挑战.
- 现有的方法包括两级跟踪检测 (TBD) 和单级联合检测和跟踪 (JDT),每一种都在架构复杂性或优化方面存在局限性.
- 检测和跟踪子任务之间的竞争性学习仍然是MOT的一个关键挑战.
研究的目的:
- 提出一种新的MOT方法,Pro2Diff (通过扩散模型传播提案),将扩散模型整合到提案传播过程中.
- 通过专注于模型培训过程来提高MOT性能,避免复杂的网络设计修改.
- 在MOT中探索生成方法和自我条件提案传播的有效性.
主要方法:
- Pro2Diff利用扩散模型的生成方法,在视频序列的前进过程中创建杂的建议.
- 该方法学习噪音建议和实际对象界限框之间的差异,通过无噪声扩散过程优化建议.
- 自有条件的提案传播是为了在不改变模型结构的情况下在推理过程中提高模型性能而引入的.
主要成果:
- Pro2Diff证明了生成方法可以有效地解决多对象跟踪任务.
- 自有条件的提案传播可以在没有结构修改的情况下在推断过程中提高模型性能.
- 通过根据跟踪序列调整提案数和代来实现最佳性能.
- 在MOT17和DanceTrack数据集上的实验结果显示,Pro2Diff的性能优于当前的端到端MOT方法,在DanceTrack上达到61.9HOTA,在MOT17上达到57.6HOTA.
结论:
- 生成性扩散模型为推进多对象跟踪提供了一个有希望的方向.
- 通过优化培训过程,Pro2Diff为现有的JDT方法提供了具有竞争力和有效的替代方案.
- 拟议的方法实现了最先进的结果,突出了MOT中扩散模型的潜力.
