实现高质量的多对象跟踪和分段,无需面具监督

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 弱监督的多对象跟踪和细分方法往往遭受粗的伪面具标签和时间信息的不足利用.
• 由于这些固有的局限性,现有的方法在准确的细分和强大的跟踪方面扎.

研究的目的:

• 开发一个新的框架,BoxMOTS,解决当前监督较弱的多对象跟踪和细分方法的局限性.
• 通过直接使用界限框注释来对细分监督,消除了对伪面具标签的需求.
• 加强时间信息的利用,以提高面具质量和跟踪数据的数据关联.

主要方法:

• 一个框架直接使用边界框标签来监督细分网络,避免伪面具标签.
• 集成基于光流的对联一致性,以确保跨的面具一致性,提高分段质量.
• 一个基于时间相邻的基于对的采样策略,例如嵌入学习,优化跟踪中的数据关联.
• 一个端到端的深度模型,BoxMOTS,将这些技术结合起来,实现统一的跟踪和细分.

主要成果:

• BoxMOTS实现了最先进的性能,在基准数据集上显著超过现有方法.
• 该模型在KITTI MOTS和BDD100K MOTS数据集上展示了有希望的结果,验证了其有效性.
• 提出的方法成功地只使用框注释,消除了对面具监督的要求.

结论:

• BoxMOTS提供了一种更高效和有效的方法来对弱监督的多对象跟踪和细分.
• 该框架成功地克服了粗的伪面具标签和有限的时间信息利用的缺点.
• 该模型仅使用框注释来执行准确的跟踪和细分的能力代表了该领域的重大进步.