对点监督实例分割的层次注意力转移

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 点性监督实例细分 (PSIS) 面临挑战,因为外观变化导致语义不一致.
• 现有的方法很难有效地捕捉细粒度的对象细节和语义关系.

研究的目的:

• 提出一种新的等级注意力转移方法来解决PSIS中的语义不一致.
• 为了更好地理解对象,利用层次语义和关键点表示.
• 为了增强对细粒度视觉任务的自我注意力机制.

主要方法:

• 开发了一种分层的AttentionShift方法,在实例,部分和细粒度层面上运行.
• 利用代表性关键点的代空间和特征空间估计.
• 将传统的自我注意力转化为具有局部精细化的层次激活.

主要成果:

• 在PASCAL VOC 2012年8月和MS-COCO 2017年基准指标上取得了显著的改进,超过了最先进的 (SOTA) 方法.
• 在各自的基准指标上,平均平均精度 (mAP) ₅₀提高了10.4%和7.0%.
• 在COCO测试-开发数据集上,改进了Segment Anything Model (SAM) 的9.4% AP.

结论:

• 层次注意力转移通过利用层次语义和关键点表示来有效地解决PSIS中的语义不一致性.
• 提出的方法为在细粒度视觉任务中规范自我注意提供了一个新的视角.
• 这种方法显示出强大的性能增长和广泛的适用性,包括与SAM等大型基础模型的集成.