多模组合示例挖掘用于复合查询图像检索的多模组合

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 复合查询图像检索涉及使用由参考图像和修改文本描述组成的查询来找到目标图像.
• 现有的方法往往无法充分利用多式联运特征,导致嵌入空间不足,训练数据利用效率低下.
• 当前的学习目标通常使用查询级负数,忽视了复合查询的微妙多式联络性质.

研究的目的:

• 通过专注于多式联接来提高复合查询图像检索的学习目标.
• 通过挖掘和生成有效的硬负面示例来增强计量空间的构建.
• 解决多式模式嵌入式学习中传统负采样的局限性.

主要方法:

• 提出一个新的学习目标,从多式联络融合的角度构建和挖掘硬负面例子.
• 通过将参考图像与逻辑未配对的句子配对来创建组件级负面示例.
• 引入一种新的句子增长技术,以在元素层面上生成不可分辨的多模式负面示例.

主要成果:

• 拟议的方法显著提高了构成查询图像检索的有效性.
• 从组件层面和元素层面的角度挖掘硬负面示例导致更好的度量空间优化.
• 在四个现实世界数据集上的实验验验证了与现有方法相比,拟议的方法的优越性能.

结论:

• 开发的方法有效地解决了构成查询图像检索当前方法的局限性.
• 生成复杂的负面示例对于学习强大的多式联运嵌入空间至关重要.
• 这项工作为通过改进学习目标来推进多式联络检索任务提供了一个有希望的方向.