简单点击:使用简单视觉转换器进行交互式图像分割
Qin Liu1, Zhenlin Xu1, Gedas Bertasius1
1University of North Carolina at Chapel Hill.
概括
简单点击是一个新的交互式图像细分方法,使用普通视觉变压器 (ViT) 骨干. 它以更少的点击实现了最先进的结果,证明了广泛的适用性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 交互式图像细分方法通常使用层次的骨干.
- 简单的视觉变压器 (ViTs) 显示出对密集的预测任务的承诺.
- ViTs提供了一个基础模型方法,可以适应下游任务,而无需重新设计骨干.
研究的目的:
- 介绍SimpleClick,这是第一个使用简单骨干的交互式细分方法.
- 探索普通ViT在交互式图像细分中的有效性.
- 开发一种方法,以最少的用户交互来有效地提取对象.
主要方法:
- 利用一个简单的,非等级的视觉转换器 (ViT) 骨干.
- 引入了一个对称的补丁嵌入层,用于点击编码.
- 采用了面具自动编码器 (MAE) 预训练策略,用于ViT骨干.
主要成果:
- 在交互式图像细分方面实现了最先进的性能.
- 在SBD数据集上获得4.15 NoC@90,改善21.8%.
- 在医学成像数据集上证明了可通用性.
结论:
- 简单点击为交互式图像细分提供了一种高度有效和高效的方法.
- 该方法的性能和通用性凸显了其作为实用的注释工具的潜力.
- 简单的骨干是交互式细分架构的可行和强大的替代方案.


