解开模式和姿势因素:可见红外人重新识别的记忆-注意力和正交分解

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 可见近红外 (VIS-NIR) 人重新识别 (Re-ID) 对于低光监控至关重要.
• 不同质的图像呈现模式,并造成差异,妨碍准确的身份匹配.
• 现有的方法很难有效地解开这些因素,以实现强大的交叉模式Re-ID.

研究的目的:

• 为VIS-NIR人重新识别提出一个新的解模式和姿势因素 (DMPF) 模型.
• 有效地应对模式所带来的挑战,并提出跨模式匹配的变化.
• 在各种成像条件下增强人重新识别系统的准确性和稳定性.

主要方法:

• 开发了一个三流特征提取网络 (TFENet) 来提取VIS-NIR图像和行人骨特征.
• 引入了使用存储队列和注意层的最佳传输 (OT) 来减少模式差异的模式因素解 (MFD).
• 实现的姿势因子解 (PFD) 与子空间直角分解和姿势特征一致性 (PfC) 损失来学习与姿势无关的特征.

主要成果:

• 拟议的DMPF模型有效地将模式和姿势因素从异构的图像特征中解脱出来.
• 在两个VIS-NIR行人Re-ID数据集上的实验验证显示,匹配准确度显著提高.
• 功能记忆和行人骨架信息的融合对于解至关重要.

结论:

• 通过有效处理模式和姿势变化,DMPF模型为VIS-NIR人重新识别提供了一个强大的解决方案.
• 解开这些因素会导致更具歧视性的身份表征,并改善跨模式匹配性能.
• 这种方法对现实世界的应用程序有希望,这些应用程序需要在具有挑战性的视觉环境中可靠的人员跟踪.