CoVR-2:用于复合视频检索的自动数据构造

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 构成图像检索 (CoIR) 是一个流行的任务,涉及图像搜索的文本和图像查询.
• 现有的CoIR方法依赖于昂贵的,手动注释的数据集 (图像-文本-图像三重体).
• 手动数据策划限制了CoIR方法的可扩展性.

研究的目的:

• 开发一个可扩展的,自动的方法来创建用于复合视频检索 (CoVR) 和CoIR的数据集.
• 扩大检索任务的范围,包括视频数据.
• 为训练和评估检索模型构建大型数据集.

主要方法:

• 利用视频标题对自动生成CoIR和CoVR的三重组.
• 使用大型语言模型为三胞胎生成修改文本.
• 利用 WebVid2M 和 Conceptual Captions 数据集创建大型训练数据集 (WebVid-CoVR 和 CoIR 三重组).
• 调整了BLIP-2预训练以进行组合检索,并纳入了标题检索损失.

主要成果:

• 创建了WebVid-CoVR数据集,其中有160万个三胞胎和330万个CoIR培训三胞胎.
• 引入了CoVR的新基准,并提供了基线结果.
• 从对新数据集进行培训的 CoVR 模型向 CoIR 任务展示了有效的学习转移.
• 在CIRR,FashionIQ和CIRCO基准上实现了在零射击检索中改进的最先进的性能.

结论:

• 拟议的自动数据集创建方法对于CoIR和CoVR来说是可扩展和有效的.
• 新的数据集和基准数据促进了复合检索的研究.
• 这种方法显著提高了检索性能,特别是在零射击设置中.