交叉图像像素对比用于语义细分

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 目前的图像语义细分方法主要集中在图像中的本地像素依赖性上.
• 现有的方法往往忽视了整个培训数据集中的像素之间的全球上下文和语义关系.
• 这种限制阻碍了对图像语义的全面理解.

研究的目的:

• 引入一个新的像素智能对比算法,PiCo,用于完全监督的语义细分.
• 通过利用全球数据背景来探索像素智能度量学习的新范式.
• 通过明确考虑不同图像中的像素之间的关系来提高语义细分性能.

主要方法:

• 提出了一个基于像素的对比算法 (PiCo),灵感来自无监督对比表示学习.
• 同一个语义类的像素嵌入之间的强制相似性和不同类的嵌入之间的不相似性.
• 将PiCo集成到现有的语义细分框架中,而不会在测试过程中增加计算开销.

主要成果:

• 在不同的语义细分模型 (DeepLabV3,HRNet,OCRNet,SegFormer,Segmenter,MaskFormer) 和骨干 (MobileNet,ResNet,HRNet,MiT,ViT) 中,PiCo表现出一致的性能改进.
• 在多个基准数据集上观察到显著的增长,包括Cityscapes,ADE20K,PASCAL-Context,COCO-Stuff和CamVid.
• 该方法有效地挖掘了全球背景,解决了以当地背景为中心的方法的局限性.

结论:

• PiCo提供了一种新且有效的语义细分方法,通过通过像素智能对比学习将全球数据上下文纳入.
• 该算法与当前的细分解决方案兼容,在不增加测试复杂性的情况下提供性能提升.
• 这项工作表明了语义细分标准培训范式的潜在转变,鼓励探索交叉图像像像素关系.