动力模拟学习 (MoIL):动力模拟学习为有效的视觉语言适应

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 大规模的视觉语言预训练 (VLP) 模型至关重要,但在计算上昂贵,需要微调.
• 现有的参数有效微调 (PEFT) 方法,如LoRA在VLP有局限性,包括近似错误和低效的优化.
• 与完全微调相关的高存储成本阻碍了VLP模型的广泛采用.

研究的目的:

• 为VLP模型开发一种新的PEFT方法,克服现有方法的局限性.
• 提高VLP中低级调整的近似精度和优化效率.
• 为了降低与适应大型VLP模型相关的计算和存储成本.

主要方法:

• 建议动量模拟学习 (MoIL),这是用于VLP模型的新PEFT方法.
• 制定PEFT作为重量模仿学习过程,直接优化低级适应近似误差.
• 引入混合近似函数来简化低级适应的学习过程.

主要成果:

• 在VLP模型中,MoIL显著提高了VLP模型中低级参数的优化效率.
• 与现有的PEFT方法相比,MoIL在各种VLP模型和任务中表现出卓越的性能和效率.
• 通过更新仅6.23%的参数,在图像-文本匹配任务中实现了+2.3%的改进,超过了完整的微调.
• 在VLMO和VinVL等模型上验证了MoIL的推断效率和概括能力.

结论:

• MoIL为适应大型VLP模型提供了高效和高效的解决方案.
• 拟议的方法显著减少了VLP模型微调的参数和存储要求.
• 在视觉语言任务中,MoIL为PEFT设定了新的基准,提高了性能和效率.