一个语义意识的注意力和视觉屏蔽网络,用于换衣服的人重新识别

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 换衣服的人重新识别 (ReID) 是具有挑战性的,因为不同的衣服造成的外观变化.
• 现有的ReID方法往往忽略了人类的语义信息,并且在服装变化中具有一致性.
• 仅专注于身体形状或轮草图限制了特征表示的稳定性.

研究的目的:

• 提出一个新的语义意识的注意力和视觉屏蔽网络 (SAVS) 强大的衣物更换人ReID.
• 通过关注服装不变的语义特征来解决当前方法的局限性.
• 开发一个统一的框架,共同利用人类的语义注意力和视觉衣服屏蔽.

主要方法:

• 一个视觉语义编码器被用于通过语义细分来定位人体和服装区域.
• 人类语义注意力 (HSA) 模块旨在强调语义信息并重新权重特征地图.
• 开发了一个视觉服装屏蔽 (VCS) 模块,以覆盖服装区域,专注于不变语义特征.

主要成果:

• 拟议的SAVS方法在更换衣服的人ReID任务上显著优于最先进的方法.
• 在LTCC和Celeb-reID等基准数据集上,SAVS在平均平均精度 (mAP) 和排名-1精度方面取得了实质性的改进.
• 与MBUNet和Swin Transformer相比,SAVS在多个数据集中表现出卓越的性能.

结论:

• 通过专注于语义信息,SAVS网络有效地提取了更换衣服的人ReID的强大功能.
• 提出的方法成功地克服了由于服装变化而引起的外观变化所带来的挑战.
• 这项工作在人重新识别研究中取得了重大进展,特别是在涉及改变服装的场景中.