TDA-L:减少实时智能传感测试时间适应的延迟和内存消耗.

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 视觉语言模型 (VLMs) 对于实时智能传感至关重要,为视力受损者提供图像分析等应用.
• 在测试时调整VLM以适应现实世界的分布变化 (例如,照明,天气) 是一个挑战.
• 现有的测试时间适应方法通常需要计算上昂贵的基于梯度的微调,这阻碍了实时应用.

研究的目的:

• 为VLMs开发一个计算效率高,有效的测试时间适应方法.
• 为了提高VLM的稳定性,在不影响实时性能的情况下应对分配转移.
• 引入TDA-L,这是一个将低级适应 (LoRA) 与无训练动态适应器 (TDA) 集成的框架.

主要方法:

• 提议的TDA-L框架,将TDA的动态键值缓存和伪标签与LoRA相结合.
• 在推理过程中将LoRA转换应用于查询和缓存特征,以减少计算开销.
• 在七个不同的基准上对TDA-L进行了评估,以评估其与分配转移相对应的表现.

主要成果:

• 与现有方法相比,TDA-L保持了模型的准确性.
• 实现显著降低延迟和减少内存消耗.
• 证明了更高的吞吐量,这表明实时应用程序的效率更高.

结论:

• TDA-L提供了一种无需培训的,计算效率高的解决方案,用于将VLM适应测试时间分配轮班.
• 集成LoRA有效地减少了特征表示大小和计算负载.
• TDA-L非常适合资源有限,实时基于人工智能的传感应用.