在弱监督的语义细分中全面挖掘信息:突出语义和边缘语义
Shaohui Wang1, Youjia Shao1, Na Tian1
1College of Automation and Electronic Engineering, Qingdao University of Science and Technology, Qingdao Shandong 266061, China.
概括
本研究引入了一个新的两阶段框架,用于弱监督的语义细分 (WSSS),以提高突出性和边缘信息挖掘. 该方法通过处理图像级标记数据集中的不完整信息来增强语义理解.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 使用图像级标签的弱监督语义细分 (WSSS) 遭受不完整的语义信息.
- 关键的挑战包括不够突出的语义挖掘和被忽视的边缘语义.
- 现有的方法很难从有限的标签中全面提取语义细节.
研究的目的:
- 为WSSS提出一个新的两阶段框架,即 Saliency Semantic Full Mining-Edge Semantic Mining (SSFM-ESM),用于WSSS.
- 为了解决显著性不足和边缘语义信息挖掘的局限性.
- 增强WSSS.中的综合信息挖掘视角.
主要方法:
- 实施了两个阶段的框架:SSFM用于突出采矿和ESM用于边缘采矿.
- 在第一个阶段 (SSFM) 使用像素级别的类不可知距离损失来进行突出特征学习.
- 在第二阶段使用边缘语义挖掘模块来改进伪标签,并利用网络自我纠正来获取边缘信息.
主要成果:
- 在SSFM阶段,成功地挖掘了充分突出语义信息,生成了最初的伪标签.
- 通过避免虚假信息和利用网络自我纠正,ESM阶段获得了高可信度边缘语义.
- 在PASCAL VOC 2012和MS COCO 2014数据集上的实验证明了该方法的可行性和优越性.
结论:
- 拟议的SSFM-ESM框架有效地解决了WSSS中不完整的语义信息.
- 该方法通过全面挖掘突出和边缘语义来实现卓越的性能.
- 这项工作为推进WSSS技术提供了一个有前途的方向.


