在视觉提示符中共享与任务相关的信息,通过跨层动态连接进行视觉提示符调整
概括
本研究介绍了SVPT,一种新的视觉提示调 (VPT) 方法,可以增强视觉变压器各层信息共享. 通过减少噪音干扰和完善突出图像令牌,SVPT提高了对下游任务的适应性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 视觉提示调整 (VPT) 显示出适应预先训练的视觉变压器的希望.
- 现有的VPT方法优化每个层独立地提示提示,阻碍跨层信息共享.
- 当前的提示结构容易受到噪音的影响,影响与任务相关的信息传输.
研究的目的:
- 提出SVPT,一种新的VPT方法,以改善信息共享和噪声稳定性.
- 提高视觉变压器对下游任务的适应性.
- 提高快速调整过程的灵活性和有效性.
主要方法:
- 引入了跨层动态连接 (CDC),以便在相邻层之间快速共享令牌信息.
- 设计了一个动态聚合 (DA) 模块,用于选择性层间信息共享.
- 开发了一个注意力增强 (AE) 机制,用提示令牌来改进突出图像令牌.
主要成果:
- 与最先进的方法相比,SVPT显示出更高的性能.
- 对图像分类和语义细分的24个基准实验验证了SVPT的有效性.
- 拟议的CDC和DA模块增强了注意力灵活性和信息共享.
结论:
- 通过实现有效的跨层信息共享,SVPT在视觉提示调方面取得了重大进展.
- 该方法提高了对任务无关的噪声的稳定性,从而导致更好的模型适应.
- SVPT提供了一种更灵活,更强大的方法来定制视觉变压器用于各种视觉任务.
更多相关视频
07:12Development of a Gaze-Contingent Display Framework Designed for Perceptual and Oculomotor Research with Simulated Central Vision Loss
Published on: April 11, 2025
565
13:00Measuring Attention and Visual Processing Speed by Model-based Analysis of Temporal-order Judgments
Published on: January 23, 2017
10.0K
