稀有:检索和排名增强MLLM用于视觉识别

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 对比性语言图像预训练 (CLIP) 在广泛的关联方面表现出色,但在细粒度的区别方面扎.
• 多模式大语言模型 (MLLMs) 处理细粒度的分类,但随着更多的类别和有限的上下文而退化.
• 现有的方法面临的挑战是对大而详细的视觉词汇进行少射/零射的识别.

研究的目的:

• 开发一种将CLIP和MLLM协同使用的方法,以提高少射/零射的识别能力.
• 为了解决细粒度识别和MLLM性能的局限性,增加了类别号码.
• 为了提高数据集的准确性,使用广泛和细粒度的视觉类别.

主要方法:

• 引入了RAR (检索和排名),这是MLLM的增强方法.
• 建立了一个使用CLIP创建类别显式存储器的多模式检索器.
• 实施了一个检索和排名过程,MLLM根据检索的内存和上下文进行预测.

主要成果:

• 在视觉语言识别任务中,RAR显著提高了准确性.
• 在5个细粒度视觉识别基准上表现出显著的性能改进.
• 在零拍摄设置下,在11个少数拍摄图像识别数据集和2个对象检测数据集上取得了显著的收益.

结论:

• RAR有效地结合了CLIP和MLLM的优势,实现了卓越的细粒度识别.
• 该方法克服了MLLM中的上下文窗口限制和类别数限制.
• 在复杂的视觉数据集中,RAR提供了一种可靠的解决方案,用于少数拍摄/零拍摄识别.