超光谱视频跟踪与光谱空间融合和记忆增强
概括
SpectralTrack通过融合光谱空间信息和内存来增强高光谱视频 (HSV) 追踪. 这种新的框架解决了数据稀缺性和计算负载问题,优于现有的HSV跟踪方法.
科学领域:
- 计算机视觉 计算机视觉
- 遥感 遥感 遥感 遥感
- 信号处理 信号处理
背景情况:
- 超光谱视频 (HSV) 提供了丰富的光谱空间时间数据,用于先进的对象跟踪.
- 现有的HSV追踪方法在数据稀缺,频段差距,光谱碎片化和高计算成本等问题上扎.
研究的目的:
- 推出SpectralTrack,这是一个用于强大和高效的超频谱视频跟踪的新框架.
- 为了解决当前HSV跟踪方法的局限性,包括数据稀缺性和计算开销.
主要方法:
- SpectralTrack采用光谱空间融合和内存增强功能,以改进跟踪.
- 一个视觉提示模块减轻了带间隙和光谱碎片化.
- 提取匹配交互模块与变压器架构中的适配器可以实现高效的特征处理.
- 一个记忆感知模块通过时间提示来改进光谱和空间线索.
主要成果:
- SpectralTrack在9个HSV跟踪数据集中展示了卓越的性能.
- 该框架有效地缓解了数据稀缺性,并通过参数高效微调和特征级融合减少了计算负载.
- 两种变体,SpectralTrack和SpectralTrack+,比现有的追踪器显示出显著的改进.
结论:
- SpectralTrack为超光谱视频跟踪提供了一种新且有效的解决方案.
- 拟议的方法增强了光谱空间特征利用和时间推理,以提高跟踪精度和效率.
