基于集中的多尺度线性注意力实时无人机跟踪,使用联合自然语言规范进行追踪.
Guocai Du1, Peiyong Zhou1, Nurbiya Yadikar1
1School of Computer Science and Technology, Xinjiang University, Urumqi, 830046, China.
Scientific reports
|April 26, 2025
概括
本研究引入了一种统一的框架,用于使用自然语言描述的无人飞行器 (UAV) 追踪. 这种新的方法整合了视觉接地和对象跟踪,提高了性能,并实现了端到端的训练,以实现更准确的无人机任务.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器人技术 机器人技术 机器人技术
背景情况:
- 无人机跟踪传统上使用单独的视觉接地和对象跟踪步骤.
- 这种分离忽略了自然语言的语义信息,并阻止了端到端的培训.
研究的目的:
- 开发UAV跟踪的综合框架,通过使用自然语言规范统一视觉接地和对象跟踪.
- 为了实现端到端的培训,并利用语义信息来提高跟踪准确性.
主要方法:
- 一个新的框架,将视觉接地和对象跟踪作为基于自然语言的统一任务.
- 三角集成以建立自然语言和图像 (模板和搜索) 之间的关系.
- 一个轻量级的集中多尺度线性注意力机制,具有效率和多尺度学习的残余.
主要成果:
- 拟议的追踪器在六个无人机追踪数据集中实现了高性能.
- 关键指标包括精度为0.819,成功率为0.654,平均速度为61 FPS.
- 在无人机视觉跟踪方面表现优于现有的最先进的追踪器.
结论:
- 综合框架有效地统一了自然语言规定的无人机任务的视觉接地和对象跟踪.
- 新的注意力机制和剩余集成有助于提高跟踪精度和效率.
- 这种方法为无人机目标跟踪提供了更强大,更适应性的解决方案.
