ReMamba:一种混合CNN-Mamba聚合网络,用于可见红外人重新识别
Haokun Geng1, Jiaren Peng1,2, Wenzhong Yang3,4
1School of Computer Science and Technology (School of Cyberspace Security), Xinjiang University, Urumqi, 830046, China.
Scientific reports
|November 26, 2024
概括
一个新的混合网络ReMamba通过有效地整合本地和全球特征来增强可见红外人重新识别 (VI-ReID). 这种方法克服了现有的CNN和ViT模型的局限性,以改善跨模式匹配.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 可见红外人重新识别 (VI-ReID) 面临着由于类内变化和跨模式差异的挑战.
- 目前的卷积神经网络 (CNN) 和视觉转换器 (ViT) 方法在捕捉全球特征和管理计算复杂性方面存在局限性.
研究的目的:
- 提出一个混合网络,ReMamba,用于改进可见红外人重新识别.
- 通过整合本地和全球信息,有效地提取歧视性模式共享特征.
主要方法:
- 利用CNN的骨干来进行多层次的特征提取.
- 引入视觉状态空间 (VSS) 模型以整合本地特征并增强全球特征清晰度.
- 设计了一个具有辅助损失的自适应特征聚合模块,以实现最佳特征融合.
- 实施了模式一致性认同约束损失,以减少跨模式差异.
主要成果:
- 与最先进的方法相比,ReMamba 在SYSU-MM01,RegDB和LLCM数据集上表现出更好的性能.
- 混合方法有效地解决了VI-ReID中现有的CNN和ViT模型的局限性.
结论:
- 拟议的ReMamba框架为可见红外人重新识别提供了一个强大的解决方案.
- 地方和全球特征的有效整合,以及模式的一致性,对于提高VI-ReID性能至关重要.
