P-CLIP: 一次性文本到图像人重新识别的渐进差异学习

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 监督的文本到图像人重新识别 (TIReID) 需要大量的注释数据,这限制了它对大规模摄像机网络的实用性.
• 一次性TIReID通过减少注释要求提供解决方案,每个身份只使用一个标记的图像-文本对.
• 一个关键的挑战是建立强大的视觉-文本对应在不同的观看条件在没有配对交叉视图数据.

研究的目的:

• 为一次性TIReID开发一个渐进式差异学习框架 (P-CLIP).
• 创建一个统一的嵌入空间,抵御视图特定偏见.
• 为了应对学习交叉视图视觉文本对应的挑战,最低限度的监督.

主要方法:

• 提出了一种渐进式多视图生成 (MVG) 方法,从单个标记实例创建多个杂视图.
• 引入了一个交叉视图差异学习 (CDL) 模块,通过利用交叉视图差异来减轻模糊性.
• 开发了一个紧的交叉模式匹配 (CCM) 损失,以通过强调匹配的对和抑制不匹配的对来增强通信学习.

主要成果:

• 在一次性TIReID任务中,P-CLIP框架表现出显著的有效性.
• 在三个基准数据集上的实验结果验证了拟议方法的性能.
• 这种方法成功地将多式联运错误纠正集成到人重新识别中.

结论:

• 拟议的P-CLIP框架有效地解决了一次性TIReID的挑战.
• 该方法显著降低了实际的大规模个人重新识别系统的注释负担.
• 该研究提供了一种强大的方法,用于学习人重新识别中的交叉视图视觉文本对应.