使用大型多模式模型生成视觉三角形增强了使用未标记数据的复合图像检索

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 复合图像检索 (CIR) 通常依赖于带有标记的三胞胎的监督学习,这些三胞胎很难获得并限制了可扩展性.
• 弱监督 (零拍摄) 的CIR使用图像-标题对,但经常产生较低的准确性,不能直接应用于未标记的数据场景.
• 现有的CIR方法很难利用完全没有标签的数据来完成诸如半监督学习,域调整和测试时间调整等任务.

研究的目的:

• 将复合图像检索 (CIR) 应用扩展到半监督学习,域调整和测试时间调整,仅使用未标记的图像数据.
• 提出一种新的方法,克服现有的CIR方法在处理未标记数据方面的局限性.
• 通过从未标记的图像集合中生成有用的训练信号,提高CIR在各种环境中的性能.

主要方法:

• 开发了一个视觉三角形生成器 (VDG),利用一个大型语言模型来描述参考和目标图像之间的视觉差异.
• 训练有素的VDG生成视觉三角形的文字描述,从未标记的辅助图像数据创建伪三角形.
• 使用这些伪三胞胎来提高CIR模型在半监督,域调整和测试时间调整环境中的性能.

主要成果:

• 拟议的VDG方法显著改进了CIR现有的监督学习方法.
• 在已建立的复合图像检索基准上取得了最先进的结果.
• 证明了该方法在扩展CIR应用程序到半监督,域调整和测试时间调整设置中的有效性.

结论:

• VDG方法为使用未标记数据进行复合图像检索提供了一个可扩展和有效的解决方案.
• 这种方法扩大了CIR对新领域和适应场景的适用性,而无需标记三胞胎.
• VDG的无模型性质允许各种CIR模型的无集成和性能提升.