激活扩展基于对弱监督语义细分的远程依赖性
Haipeng Liu1, Yibo Zhao1, Meng Wang1,2
1Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming, China.
PloS one
|November 21, 2023
概括
本研究引入了一种新的弱监督语义细分 (WSSS) 方法,该方法使用远程依赖来挖掘语义信息,以提高对象面具的准确性. 这种新的架构增强了伪标签和对象细节,在PASCAL VOC 2012数据集上表现优于现有的方法.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 弱监督的语义细分 (WSSS) 通常使用类激活地图 (CAM) 来生成伪标签,但由于注释数据有限,CAM会遭受错误和本地激活.
- 详细注释的高成本需要高效的WSSS方法来提高细分精度.
研究的目的:
- 提出一种新的WSSS架构,通过建模远程依赖来扩展对象面具来挖掘语义信息.
- 为了提高伪标签的可靠性,并改善在细分任务中捕获高级语义细节.
主要方法:
- 提出了一种新的架构,通过模拟样本内和样本间的远程依赖来挖掘语义信息.
- 图像被分成块,并应用自我注意力,较少的类别来捕捉远程依赖性,减少错误的预测.
- 在图像块之间执行全球到本地加权的自我监督对比学习,以将本地CAM激活转移到前景区域.
主要成果:
- 拟议的模块有效地捕获了优质的语义细节,并产生了更可靠的伪标签.
- 对PASCAL VOC 2012的实验表明,该模型在验证组中达到76.6%的mIoU,在测试组中达到77.4%的mIoU.
- 该模型的性能超过了对比基线的性能,表明其在WSSS中的有效性.
结论:
- 开发的方法通过利用远程依赖和对比学习,成功地解决了WSSS中传统CAM的局限性.
- 拟议的架构为语义信息挖掘提供了更强大的方法,从而提高了对象口罩生成和细分精度.
