重新思考自我监督的语义细分:实现端到端的细分
概括
本研究引入了一种新的自我监督的语义细分方法,用于端到端的训练和推理. 它克服了现有方法的局限性,通过使用新的对齐技术来提高细分性能.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 语义细分通常需要广泛的像素级注释,这构成了重大挑战.
- 现有的自我监督方法经常训练图像编码器或细分头,但依赖于监督的分类器或集群推断,阻碍实时应用.
- 用于细分的数据集级别聚类是低效的,通过将所有像素集体处理来降低性能.
研究的目的:
- 提出一种新的自我监督的语义细分范式,使得端到端的训练和推理成为可能.
- 解决自我监督视觉转换器 (ViT) 中观察到的非 Salient 区域的语义不一致性和糟糕的表示质量.
- 开发一种方法,以每张图像的自适应方式执行细分推理.
主要方法:
- 提出原型-图像对齐和全球-本地对齐与注意力地图约束.
- 用可学习原型训练变压器解码器.
- 使用自适应原型进行每图像细分推断.
主要成果:
- 在完全无监督的语义细分设置中表现出卓越的性能.
- 展示了拟议方法在不同数据集中的通用性.
- 实现了端到端推断,克服了以前基于集群的方法的局限性.
结论:
- 提出的自我监督的语义细分方法为具有有限注释的场景提供了可行的解决方案.
- 新的对齐策略和自适应原型显著提高了细分精度和效率.
- 该方法促进实时,端到端推断,推进无监督语义细分领域.
