从多个方向激活本地交叉补丁,用于弱监控对象定位

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 弱监督对象定位 (WSOL) 旨在仅使用图像级标签识别对象位置.
• 变压器已应用于WSOL以改善功能依赖性,但面临背景过度激活和封闭对象定位的挑战.
• 现有的方法很难将类似的对象边界与背景区分开来,并通过遮蔽捕捉局部特征.

研究的目的:

• 提出一种新的基于变压器的WSOL方法,LCA-MD,该方法解决了背景过度激活和不完全激活封闭对象的问题.
• 为了提高当地特征的捕捉,同时抑制背景噪音.
• 为了提高对象定位在弱监督设置中的准确性和稳定性.

主要方法:

• 开发了LCA-MD,一种基于变压器的WSOL方法,利用来自多个方向的本地交叉补丁激活.
• 引入了一个代币特征对比模块 (TCM),将对比学习与变压器结合起来,以最大限度地提高前景和背景的区别.
• 提出了一种语义空间融合模块 (SFM),用于捕获本地交叉补丁特征,并使激活扩散跨遮.

主要成果:

• 在CUB-200-2011和ILSVRC数据集上,LCA-MD显著优于现有方法.
• 在弱监督的对象定位中实现了最先进的性能.
• 拟议的模块有效地抑制了背景过度激活,并改善了封闭对象的定位.

结论:

• 对于基于变压器的WSOL的挑战,LCA-MD提供了一个有效的解决方案.
• 该方法增强了模型捕捉细粒度局部细节和语义上下文的能力.
• 在弱监督对象本地化研究中,LCA-MD代表了重大进步.