BCAN:双向正确注意网络,用于跨模态检索
概括
本研究介绍了一种双向正确注意网络 (BCAN),通过解决视觉和语言任务注意力机制中的语义错位来改善交叉模式的检索.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 跨模式检索旨在将图像区域与文本单词联系起来.
- 现有的以注意力为基础的方法因分析碎片化而扎于语义错位.
- 挑战包括区分类似的语义片段和处理不相关的区域/单词.
研究的目的:
- 提出一种新的双向正确注意网络 (BCAN),以加强跨模式检索.
- 为整个图像/句子语义引入分片相关性的概念.
- 纠正注意力权重,以提高视觉语言任务的准确性.
主要方法:
- 开发了一种双向正确注意网络 (BCAN).
- 引入了一种新的正确注意力机制,使用本地和全球相似性建模.
- 设计了全球正确单位 (GCU) 和本地正确单位 (LCU) 来改进注意力权重.
主要成果:
- BCAN有效地解决了跨模式检索中的语义错位问题.
- 该方法在MS-COCO和Flickr30K数据集上表现优于现有的基于注意力的方法.
- 与最先进的方法相比,取得了竞争性表现.
结论:
- 拟议的BCAN显著提高了跨模式检索精度.
- 新的注意力校正机制提高了对子片段相关性的理解.
- 对于视觉语言理解任务,BCAN提供了一个强大的解决方案.


