有效的令牌引导图像文本检索与一致的多式模式对比训练

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 图像-文本检索对于理解视觉和语言数据之间的语义关系至关重要.
• 现有的方法往往专注于全球或本地特征,忽视它们的相互作用,导致精度低于最佳,计算成本高.

研究的目的:

• 开发一个新的框架,整合粗细粒度表示学习,以增强图像文本检索.
• 为了提高检索准确度和减少多式联络理解任务中的计算复杂性.

主要方法:

• 提出了代币引导双变压器 (TGDT) 架构,用于图像和文本处理的两个同质分支.
• 引入了一致的多模态对比 (CMC) 损失,以确保在共享嵌入空间中的各种模式的语义一致性.
• 实施了一种使用混合全球和本地跨模式相似性的两阶段推断方法.

主要成果:

• 在基准数据集上实现了最先进的检索性能.
• 与现有的代表方法相比,证明推断时间显著降低.
• 统一的框架有效地利用了粗细细粒度的信息.

结论:

• 拟议的TGDT架构通过统一多式模式表示来提供更有效和高效的图像文本检索方法.
• 该CMC损失和两阶段推断方法有助于卓越的语义理解和检索准确性.
• 这项工作为多模式学习提供了新的视角,与人类认知过程保持一致.