相关实验视频
Updated: Jul 17, 2025

04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
441
SAN:用于开放词汇语义细分的侧向适配器网络.
IEEE transactions on pattern analysis and machine intelligence
|September 4, 2023
概括
我们介绍了侧向适配器网络 (SAN),这是一个用于开放词汇语义细分的新框架. SAN有效地适应大型视觉语言模型,在显著降低计算成本的情况下实现最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 开放词汇的语义细分使模型能够对任意的对象类别进行细分.
- 调整像CLIP这样的大规模视觉语言模型提供了一种培训经济化的方法.
研究的目的:
- 开发一个轻量级和有效的框架,用于开放词汇的语义细分.
- 通过开放词汇能力增强主流细分架构.
主要方法:
- 提出了侧向适配器网络 (SAN) 框架,将预先训练的CLIP模型中的中间特征融合在一起.
- 通过侧面适配器网络引入了注意力偏差,以使CLIP专注于信息图像区域.
- 开发了P-SAN和R-SAN变体,用于像素智能和区域智能细分.
主要成果:
- 在五个基准指标上实现了最先进的性能,可训练参数和GFLOP显著减少.
- 在使用仅6%的可训练参数和<1%的GFLOPs时,R-SAN超过了先前的方法2.3mIoU.
- 证明了将R-SAN转移到视频细分任务的可行性.
结论:
- SAN框架为开放词汇的语义细分提供了高效和有效的解决方案.
- SAN使现有的细分模型具有先进的开放词汇能力.
- 这种方法对现实世界的应用,包括视频细分非常有希望.

