使用StyleGen和堆叠的罗神经网络的零拍摄素描图像检索
Venkata Rama Muni Kumar Gopu1, Madhavi Dunna1
1Department of Electrical, Electronics and Communication Engineering (EECE), Gitam School of Technology, Gitam Deemed to be University, Rushikonda, Visakhapatnam 530045, India.
Journal of imaging
|April 26, 2024
概括
这项研究介绍了StyleGen,一种基于素描的图像检索 (SBIR) 的新方法. StyleGen从草图中生成现实的图像,通过弥合域间隙,在零拍摄场景中显著提高检索精度.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 基于草图的图像检索 (SBIR) 具有挑战性,因为模两可的草图和自然图像之间存在域间隙.
- 零拍摄SBIR需要从模型训练中未见过的类中检索图像,加剧了域差距.
研究的目的:
- 提出StyleGen,一种优雅的检索方法,用于生成与仓库图像域相匹配的候选图像.
- 为了减少基于素描的图像检索任务中的域差距.
主要方法:
- 使用一个两阶段的神经网络架构:堆叠的语网络.
- 采用StyleGen生成与目标图像域保持一致的假候选图像.
主要成果:
- 在TU-Berlin扩展和Sketchy扩展数据集上表现出明显的性能改善.
- 与SBIR当前最先进的方法相比,取得了更好的结果.
- 保持了检索方法的概括性.
结论:
- StyleGen有效地弥合了SBIR中的域差距.
- 堆叠的语网络架构提供了出色的检索性能.
- 拟议的方法大大提升了零射击SBIR能力.
