使用大型语言模型对视觉语言模型进行双适配器调整
Mohammad Reza Zarei1, Abbas Akkasi1, Majid Komeili1
1School of Computer Science, Carleton University, Ottawa, ON Canada.
本研究为视觉语言模型 (VLMs) 引入了一种新的高效转移学习 (ETL) 方法. 它通过同时使用两个适配器样式和使用大型语言模型 (LLM) 生成属性特定提示来提高VLM性能.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 视觉语言模型 (VLMs) 在零射击任务中表现出色,但可以通过有限的数据进行改进.
- 使用功能适配器的高效转移学习 (ETL) 是VLM适应的关键.
- 现有的ETL方法通常侧重于单个适配器类型或通用提示.
研究的目的:
- 为VLMs提出一种新的ETL方法,它结合了多种适配器风格.
- 改进VLM的提示生成,使用属性特定的,LLM生成的提示.
- 通过对上下文有意识的信息来增强VLM的歧视能力.
主要方法:
- 开发了一种新的ETL方法,同时利用先前独立和先前依赖的特征适配器.
- 使用预训练的大型语言模型 (LLM) 来生成视觉类别的属性特定提示.
- 从LLM中整合了背景感知歧视信息,以指导VLM分类.
主要成果:
- 拟议的ETL模型在11个不同的数据集中实现了最先进的性能.
- 同时使用适配器样式和LLM生成的提示,大大提高了VLM的可转移性.
- 属性特定和上下文意识提示提高了模型区分类别的能力.
结论:
- 新型ETL方法在适应有限数据的VLM方面取得了重大进展.
- 在转移学习中,LLM驱动的提示工程对于提高VLM性能是有效的.
- 该方法为视觉语言任务中的有效转移学习设定了新的基准.
更多相关视频
07:36Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects
Published on: November 30, 2018
09:09Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody
Published on: September 27, 2024
相关概念视频
Improving Translational Accuracy
Language and Cognition
Multi-input and Multi-variable systems
In the absence...
Model Approaches for Pharmacokinetic Data: Distributed Parameter Models
The distributed parameter models are specifically designed to account for variations and differences in some drug classes. This model is particularly useful for assessing regional concentrations of anticancer or...
Parallel Processing
One-Compartment Open Model: Wagner-Nelson and Loo Riegelman Method for ka Estimation
On...
