一个增强的Swin变压器用于足球运动员重新识别
Sara Akan1, Songül Varlı1, Mohammad Alfrad Nobel Bhuiyan2
1Department of Computer Engineering, Yildiz Technical University, Istanbul, Turkey.
Scientific reports
|January 11, 2024
概括
这项研究引入了一种用于在体育视频中重新识别球员的新方法,即使在类似的制服和低分辨率图像中,也提高了准确性. 增强的Swin变压器模型在基准数据集上取得了最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 运动分析 运动分析
背景情况:
- 对象重新识别 (ReID) 对于体育分析等应用至关重要.
- 现有的方法在与类似的团队服装,有限的样本和体育视频中图像分辨率低等方面扎.
- 卷积神经网络 (CNN) 和变压器模型在捕捉远程依赖和小物体特征方面存在局限性.
研究的目的:
- 开发一种改进的ReID方法,用于在广播体育视频中识别球员.
- 为了应对挑战,包括相似的服装,每个玩家的样本数量少,以及图像分辨率低.
- 通过结合CNN和变压器来增强强大的对象ReID来增强特征表示.
主要方法:
- 开发了一个区域特征提取旋转变压器 (RFES) 骨干,以改善本地和小规模对象特征提取.
- 利用三个损失函数来管理不平衡的数据,并强调困难的情况.
- 在检索阶段采用k-互换编码实现了重新排名.
主要成果:
- 在市场-1501数据集上实现了96.2%的排名-1准确性,mAP为89.1.
- 在SoccerNet-v3数据集上达到84.1%的排名-1准确率,mAP为86.7.
- 在两种数据集上都超过了现有的最先进的方法.
结论:
- 拟议的RFES方法有效地解决了运动视频中玩家ReID的挑战.
- 在Swin Transformer架构中将CNN和变压器结合起来,可以增强特征表示.
- 该方法表现出卓越的性能,为体育运动员重新识别设定了新的基准.
