SiamPKHT:基于金字塔混合注意力和知识蒸的高光谱姆追踪

科学领域:

• 计算机视觉 计算机视觉
• 遥感 遥感 遥感 遥感
• 机器学习 机器学习

背景情况:

• 超光谱图像提供丰富的光谱和空间数据,有利于对象跟踪.
• 现有的罗追踪器由于数据有限和高维度,难以充分利用超频谱特征.
• 训练超谱物体跟踪 (HOT) 模型是具有挑战性的,因为数据稀缺性和计算复杂性.

研究的目的:

• 提出一种新的超光谱物体跟踪 (HOT) 算法,SiamPKHT,可以增强特征提取并减轻过拟合.
• 通过有效利用光谱信息,提高超光谱图像中对象跟踪的性能.
• 开发一个实时HOT算法,能够处理高维超谱数据的复杂性.

主要方法:

• SiamPKHT算法是通过提升SiamCAR模型,使用金字塔混合注意力 (PSA) 和知识蒸 (KD) 来开发的.
• PSA模块使用金字塔卷曲来进行多尺度特征提取,并为道间和空间关系建模混合注意力.
• 使用知识蒸 (KD),以预训练的RGB跟踪模型为指导,以解决超频谱对象跟踪中的过拟合问题.

主要成果:

• 在HOT2022数据集上的实验表明,SiamPKHT的性能优于基线SiamCAR和其他最先进的HOT算法.
• SiamPKHT在超光谱物体跟踪任务中实现了卓越的性能.
• 拟议的算法满足实时处理要求,实现每秒43的速度.

结论:

• SiamPKHT通过整合先进的注意力机制和知识蒸,有效地解决了超谱物体跟踪的挑战.
• 与现有方法相比,该算法在跟踪精度和稳定性方面取得了显著的改进.
• SiamPKHT为超光谱成像应用中的实时,高性能对象跟踪提供了一个有前途的解决方案.