辅助任务 增强的双亲关系学习用于弱监督的语义细分
IEEE transactions on neural networks and learning systems
|March 13, 2024
概括
AuxSegNet+通过使用突出检测和图像分类作为辅助任务来增强弱监督语义细分 (WSSS). 这种方法通过学习跨任务的亲和关系来改善像素级本地化,实现最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 弱监督的语义细分 (WSSS) 通常使用类激活映射 (CAM) 进行本地化.
- 现有的方法通常将CAM与突出性地图结合起来,使用启发式值来生成伪标签.
- 需要更好地利用任务间的相关性来改进WSSS.
研究的目的:
- 提出AuxSegNet+,一个新的弱监督的辅助学习框架用于语义细分.
- 探索突出度地图中的丰富信息以及突出度检测和语义细分之间的相关性.
- 改进语义细分,使用突出检测和多标签图像分类作为辅助任务.
主要方法:
- 引入了AuxSegNet+,一个使用突出检测和多标签图像分类作为辅助任务的框架.
- 开发了一种跨任务亲和学习机制,从突出和细分特征地图中学习像素级亲和关系.
- 实施跨任务双亲关系学习模块,通过全球上下文聚合来增强特定任务的特征和预测.
主要成果:
- 在弱监管的语义细分基准 (PASCAL VOC,MS COCO) 上取得了新的最先进的结果.
- 证明了利用辅助任务和交叉任务亲和学习以改善细分的有效性.
- 通过跨任务亲和学习和伪标签更新展示了代性绩效改进.
结论:
- AuxSegNet+有效地利用辅助任务和交叉任务亲和学习来实现高级WSSS.
- 拟议的跨任务双亲关系学习模块增强了特征表示和预测准确性.
- 该框架为推进计算机视觉中低监督学习提供了一个有希望的方向.
