DiagSWin:一个多尺度视觉转换器,具有对角形窗口,用于对象检测和细分
1Key Laboratory of Smart Human-Computer Interaction and Wearable Technology of Shaanxi Province, Xidian University, Xi'an, 710071, China.
概括
视觉转换器 (ViTs) 面临着高的计算成本. 斜视窗 (DiagSWin) 关注引入混合尺度以有效捕捉多尺度特征,提高计算机视觉任务的性能.
科学领域:
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
- 人工智能的人工智能
背景情况:
- 视觉转换器 (ViTs) 擅长通过自我注意力捕捉全球依赖.
- 在ViT中,全球自我注意带来了大量的计算成本,特别是在高分辨率任务中.
- 现有的成本降低方法往往牺牲了远程建模能力和多尺度特征提取.
研究的目的:
- 开发一个有效的注意力机制,解决现有的视觉转换器的局限性.
- 在视觉转换器层中引入一种用于捕获多尺度上下文信息的新方法.
- 提高各种计算机视觉任务的性能,同时降低计算复杂性.
主要方法:
- 引入了对角形窗口 (DiagSWin) 注意力机制,用于模拟对角形区域的注意力.
- 在注意层内实施混合尺度,允许令牌以不同的细分度关注附近和远处的元素.
- 开发了DiagSWin变压器,这是视觉变压器模型的一个新变体,包含了DiagSWin的注意力.
主要成果:
- 在各种计算机视觉任务中,DiagSWin变压器表现出卓越的性能.
- 一个大型的DiagSWin变压器在ImageNet上实现了84.4%的Top-1精度,超过了SOTA CSWin变压器,计算和模型大小减少了40%.
- 在对象检测/细分方面,DiagSWin-Base在COCO上实现了51.1个盒子mAP和45.8个面具mAP,在语义细分方面,在ADE20K上实现了52.3个mIoU.
结论:
- 在DiagSWin的注意力机制有效地捕捉多层次的环境,同时减少计算的复杂性.
- DiagSWin变压器为现有的视觉变压器架构提供了一个计算效率高和高性能替代方案.
- 当被用作对象检测,细分和其他视觉任务的骨干时,拟议的方法显示出显著的改进.
