原型适配器:高效的免训练的CLIP适配器,用于少数拍摄图像分类
Naoki Kato1, Yoshiki Nota2, Yoshimitsu Aoki1
1Department of Electrical Engineering, Faculty of Science and Technology, Keio University, 3-14-1 Hiyoshi, Kohoku-ku, Yokohama 223-8522, Kanagawa, Japan.
Sensors (Basel, Switzerland)
|June 19, 2024
概括
原始适配器增强了像CLIP这样的大型视觉语言模型的几次拍摄识别. 这种方法使用基于类原型的恒定尺寸适配器,性能优于以前的方法,并使得部署效率高.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 大型视觉语言模型 (例如,CLIP) 在零射击传输方面表现出色.
- 短暂的识别需要将模型适应有限的数据.
- 像Tip-Adapter这样的现有方法可以提高几次拍摄的性能,但由于适配器尺寸大,面临可扩展性问题.
研究的目的:
- 为CLIP提出一种新的,高效的适应方法.
- 开发一个恒定尺寸的适配器,克服Tip-Adapter的可扩展性限制.
- 增强少数镜头分类性能,重点关注歧视性决策边界.
主要方法:
- 介绍了Proto-Adapter,这是一个具有恒定大小的单层适配器.
- 使用来自类特征聚合的原型表示来构建适配器重量.
- 在微调过程中实施了距离边缘罚款,以增加类间差异.
主要成果:
- 与Tip-Adapter相比,Proto-Adapter实现了优越的几次射击识别性能.
- 拟议的方法在少数拍摄分类任务中在各种数据集中表现出有效性.
- 不变的适配器尺寸确保了高效的部署,无论训练数据量如何.
结论:
- Proto-Adapter提供了一种有效且可扩展的解决方案,用于对大型视觉语言模型进行短时间的适应.
- 基于原型的方法和距离边缘罚款有助于改善模型的可区分性.
- 这种方法促进了实际应用,需要使用有限的数据进行高效的少量学习.
