潜在的注意网络与位置感知用于视觉问题答案
IEEE transactions on neural networks and learning systems
|March 26, 2024
概括
这项研究引入了一种新的潜在注意网络,通过更好地理解对象的位置来改善视觉问题答案 (VQA). 这种新方法提高了涉及多个对象和空间关系的复杂VQA任务的性能.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 视觉问题答案 (VQA) 模型与多个对象之间的复杂空间关系作斗争.
- 了解用前置词描述的相对位置对于准确的VQA至关重要.
研究的目的:
- 为VQA开发一个新的潜在注意力 (LA) 网络,有效地解决复杂的相对位置关系.
- 提高模型理解多对象相关性的能力,提高计数问题的性能.
主要方法:
- 提出了一个潜在的注意力生成模块 (LAGM) 以基于位置前置来重建注意力.
- 引入了一个位置感知模块 (PAM) 来编码绝对和相对位置关系.
- 开发了一个封闭式计数模块 (GCM),以改善计数问题的定量推理.
主要成果:
- 拟议的LA网络准确地捕捉复杂的相对位置特征,引导注意力正确的对象/区域.
- PAM增强了对多对象相关性的理解.
- GCM提高了计数问题的表现.
结论:
- 新的LA网络显著提高了VQA的性能,特别是在具有复杂空间推理的场景中.
- 该方法在广泛使用的VQA数据集 (VQA v1和v2) 上优于最先进的方法.


