基于反向诱导的深度图像搜索
1Department of Industrial Engineering, Yonsei University, Seoul, Republic of Korea.
PloS one
|September 9, 2024
概括
条件图像检索 (CIR) 通过倒向搜索 (Backward Search) 改进,这是一个反向映射方法. 这种方法有效地根据概念和条件获取图像,优于现有方法,并通过知识蒸来减少计算时间.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 条件图像检索 (CIR) 对于高效的图像搜索和分析至关重要.
- 像复合图像检索 (CoIR) 这样的现有方法需要昂贵的数据集 (三重组或图像-文本对).
研究的目的:
- 开发一种新的CIR方法,绕过对广泛数据集的需求.
- 为了使CIR在图像层面的概念使用反向映射方法.
主要方法:
- 拟议的倒向搜索方法更新了查询嵌入,以匹配指定的条件.
- 采用反向映射方法来利用模型的诱导知识.
- 使用知识蒸来显著减少计算时间.
主要成果:
- 逆向搜索在WikiArt,aPY和CUB数据集上获得了0.541的平均mAP@10,超过了CoIR方法.
- 知识蒸使学生模型的速度高达160倍,性能损失最小.
- 展示了有效的单个和多条件图像检索.
结论:
- 倒向搜索提供了一种高效和有效的解决方案,用于使用图像级概念的条件图像检索.
- 该方法减少了对昂贵的注释数据集的依赖.
- 知识蒸为部署更快的CIR模型提供了一个实际的途径.


