适应式点击:具有适应性焦点损失的点击感知变压器,用于交互式图像分割

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 交互式图像细分 (IIS) 减少了注释时间,但受到交互模糊性的影响,阻碍了细分质量.
• 现有的研究不足以解决IIS中模两可的关键问题.

研究的目的:

• 引入AdaptiveClick,这是一个针对IIS的新框架,它解决了注释不一致性,并提高了细分质量.
• 开发一个具有自适应焦损 (AFL) 的点击感知变压器,用于面具和像素级模糊度分辨率.

主要方法:

• 提出了AdaptiveClick,这是第一个基于变压器的,面具适应的IIS分段框架.
• 引入了一个点击感知面罩适应式变压器解码器 (CAMD),以增强点击和图像功能交互.
• 开发了一种通用的自适应焦点损失 (AFL) 用于硬和轻样本的像素自适应差异化.

主要成果:

• 与最先进的方法相比,AdaptiveClick在使用ViT骨干的9个数据集中表现出卓越的性能.
• 拟议的AFL被证明可以将Focal和BCE损失泛化.
• 该框架有效地解决了掩盖和像素级别注释不一致的问题.

结论:

• 通过解决交互模糊性,AdaptiveClick 在 IIS 中提供了显著的进步.
• 拟议的自适应焦点损失为处理细分任务中的不同数据分布提供了一个强大的机制.
• 该框架的有效性和通用性得到了广泛的实验结果的验证.