SelaVPR++:向基础模型的无适应,以实现有效的地点识别

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 机器人技术 机器人技术 机器人技术

背景情况:

• 预先训练的视觉基础模型显示了视觉位置识别 (VPR) 的前景.
• 像SelaVPR这样的先前方法提供了参数有效的适应,但在培训效率和重新排名成本方面面临挑战.

研究的目的:

• 开发一种更高效,更高性能的视觉位置识别 (VPR) 方法.
• 在训练时间,内存使用,延迟和存储方面解决现有的适应和重新排名范式的局限性.

主要方法:

• 推出了轻量级多尺度卷积 (MultiConv) 适配器,用于对基础模型进行参数,时间和内存高效的适应.
• 开发了一个创新的重新排名范式,使用紧的二进制特征进行初始检索和强大的浮点特征进行重新排名.
• 实现了类似性受约束的深度哈希方法,用于生成跨数据集的二进制特征和统一的训练协议.

主要成果:

• SelaVPR++在训练效率,GPU内存使用率和检索延迟方面取得了显著的改进 (比TransVPR快6000倍).
• 取得了最先进的表现,在MSLS挑战排行榜上排名第一.
• MultiConv 适配器完善中间功能,而不会通过骨干进行背向传播,从而提高效率和性能.

结论:

• SelaVPR++为视觉位置识别 (VPR) 提供了一个高效和有效的解决方案.
• 拟议的适应和重新排名的方法显著降低了计算开销.
• 该方法为VPR系统的性能和效率设定了新的基准.