注意驱动的记忆网络用于在线视觉跟踪

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 复杂场景中的对象跟踪是具有挑战性的,因为难以保留内在的目标属性.
• 现有的记忆机制很难为追踪器提供必要的目标信息.
• 生物视觉记忆为改善跟踪稳定性和可靠性提供了灵感.

研究的目的:

• 提出一种使用注意力驱动记忆网络的新在线追踪方法.
• 通过挖掘歧视性内存信息来提高追踪器的稳定性和可靠性.
• 为了提高对象跟踪,利用生物记忆机制.

主要方法:

• 设计了一种新的以注意力驱动的记忆网络,使用长期和短期记忆模块.
• 长内存模块在频道和空间层次上捕获属性级信息.
• 在线内存更新器 (MU) 根据跟踪信任来改进内存内容,并使用混合器层和在线头部网络.

主要成果:

• 注意驱动的记忆网络适应地平衡了短期和长期记忆贡献.
• 在线内存更新器通过评估跟踪可靠性来确保有效的模型更新.
• 拟议的方法在多个基准数据集 (OTB,TC-128,UAV-123,GOT-10k,VOT-2016,VOT-2018) 中显示出有利的性能.

结论:

• 拟议的以注意力驱动的记忆网络有效地挖掘歧视性信息,以进行强大的在线跟踪.
• 生物记忆原理的整合在具有挑战性的场景中提高了跟踪性能.
• 该方法取得了最先进的结果,在各种数据集上验证了其有效性.