使用图像级标签的一步三倍增强弱监督的语义细分

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 传统的语义细分需要像素级标签,这是耗时和资源密集的.
• 弱监督的语义细分使用图像级标签,降低注释成本,但往往缺乏精确的本地化信息.
• 现有的监管较弱的方法通常采用复杂的两步方法,增加模型参数和结构复杂性.

研究的目的:

• 提出创新的一步三倍增强 (OSTE) 弱监督的语义细分网络.
• 通过将伪标签生成和细分集成到单个步骤中来简化模型结构.
• 通过使用图像级标签来提高本地化和边界精细化来提高细分精度.

主要方法:

• 开发了OSTE网络,用于伪标签生成和语义细分的一步方法.
• 集成的本地激活地图信息与图像,以改善本地化和扩展功能.
• 通过利用多层次的特征相关性,精细的类激活地图种子区域.
• 包含条件随机场理论,用于生成具有丰富边界细节的高可靠性伪标签.

主要成果:

• 在帕斯卡的VOC数据集中,OSTE网络在欧盟 (mIoU) 上获得了58.47%的竞争平均交叉点.
• 与当前的两步弱监督的语义细分方案相比,显著改进.
• 在mIoU得分中,超过现有的端到端计划的表现至少为5.03%.

结论:

• 拟议的OSTE网络提供了一种更简单,更有效的方法来对弱监督的语义细分.
• 三重增强策略显著提高了细分精度,特别是在本地化和边界定义方面.
• OSTE为现有方法提供了有竞争力的替代方案,减少了复杂性,同时实现了卓越的性能.