马巴ReID:利用Vision Mamba进行多模式对象重新识别
Ruijuan Zhang1,2, Lizhong Xu1, Song Yang1
1School of Computer and Information, Hohai University, Nanjing 211106, China.
Sensors (Basel, Switzerland)
|July 27, 2024
概括
通过使用VMamba,MambaReID通过融合CNN和变压器的优势来增强多模式对象重新识别 (ReID). 这种新的框架实现了优越的ReID性能,并降低了计算成本和参数.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 多模态对象重新识别 (ReID) 利用不同图像模式的互补信息.
- 传统的卷积神经网络 (CNN) 方法具有有限的受体场.
- 基于变压器的方法面临着高的计算需求,缺乏卷积偏差.
研究的目的:
- 提出一种新的融合框架,MambaReID,它集成了CNN和变压器的优势,用于改进多模式对象ReID.
- 通过结合有效的VMamba架构来克服现有方法的局限性.
主要方法:
- 开发了MambaReID,这是一个融合框架,包括三级VMamba (TSV),密集的Mamba (DM) 和一致的VMamba融合 (CVF).
- TSV以低计算复杂度高效地捕捉全球背景和本地细节.
- 通过密集整合跨模式信息,DM增强了特征的可区分性.
- CVF提供细粒度的模式聚合,以提高功能稳定性.
主要成果:
- 在多模式对象ReID任务中,MambaReID实现了卓越的性能.
- 与现有方法相比,该框架显示了降低的参数和较低的计算成本.
- 通过对三种多模式对象ReID基准进行广泛实验验证的有效性.
结论:
- 拟议的MambaReID框架有效地解决了CNN和基于变压器的方法在多模式对象ReID中的局限性.
- MambaReID为跨模式对象识别提供了一个计算效率高和高性能解决方案.
更多相关视频
08:25Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment
Published on: May 7, 2019
8.9K
06:25Author Spotlight: Assessment of Visual Acuity in Central Vision Loss Through Motion-Based Peripheral Vision Testing
Published on: February 23, 2024
574
