通过CLIP驱动的细粒度文本图像人重新识别

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 文本图像人重新识别 (TIReID) 旨在将图像与文本描述相匹配.
• 目前的方法在多模式通信和细节细节方面扎.
• 像CLIP这样的视觉语言预训练模型提供了潜力,但在捕获TIReID的细微信息方面存在局限性.

研究的目的:

• 为提升TIReID提出一个新的CLIP驱动的细粒度信息挖掘框架 (CFine).
• 解决利用多模式通信和细粒度信息的现有方法的局限性.
• 提高基于TIReID中的文本查询检索图像的准确性和效率.

主要方法:

• 开发了一个基于CLIP的细粒度信息挖掘框架 (CFine).
• 引入了一个多层次的全球特征学习 (MGF) 模块,以挖掘具有歧视性的本地信息并增强全球特征.
• 设计的交叉粒度特征精制 (CFR) 和细粒度对应发现 (FCD) 模块,用于在多个层面建立交叉模式对应.

主要成果:

• 拟议的CFine框架有效地利用了CLIP对TIReID的知识.
• MGF模块增强了与身份相关的歧视性线索的提取.
• 在多个基准上的实验表明,与现有方法相比,性能优越.

结论:

• CFine显著提高了文字图像人重新识别性能.
• 该框架成功地解决了细粒度信息和跨模式通信的挑战.
• CFine为推进TIReID研究提供了一个有前途的方向.