SSF-Net:具有光谱角度意识的空间光谱融合网络,用于超光谱物体跟踪

科学领域:

• 计算机视觉 计算机视觉
• 遥感 遥感 遥感 遥感
• 信号处理 信号处理

背景情况:

• 超光谱视频 (HSV) 提供丰富的空间,光谱和时间数据,非常适合挑战物体跟踪场景.
• 现有的HSV跟踪方法通常不充分利用光谱信息,并与特征表示作斗争.
• 目前的方法经常依赖于RGB跟踪器,限制了超光谱数据的全部潜力.

研究的目的:

• 提出一个具有光谱角度感知 (SSF-Net) 的新型空间光谱融合网络,以改进超光谱 (HS) 对象跟踪.
• 增强光谱特征提取和融合,以实现互补的对象表示.
• 开发一种利用HS和RGB模式进行可靠跟踪的方法.

主要方法:

• 一个空间光谱特征骨干 ($S^2$FB) 用于联合纹理和光谱表示.
• 一个光谱注意力融合模块 (SAFM) 来关联HS和RGB模式,以实现强大的特征融合.
• 一个光谱角度感知模块 (SAAM) 和损失 (SAAL) 以基于光谱相似性的精确物体定位.
• 一种结合HS和RGB运动预测的加权预测方法.

主要成果:

• 与基准数据集 (HOTC-2020,HOTC-2024,BihoT) 上的最先进的追踪器相比,拟的SSF-Net表现出更高的性能.
• 该网络有效地提取和融合空间和光谱特征,从而实现更准确的对象跟踪.
• 光谱角度感知机制显著提高了定位准确性.

结论:

• 通过有效利用光谱信息,SSF-Net在超光谱视频对象跟踪方面取得了重大进展.
• 拟议的融合战略和光谱意识模块提高了追踪的稳定性和准确性.
• 该方法为未来的HS对象跟踪研究提供了坚实的基础.