像海马体内存的分离-完成协作网络,以实现无偏的场景图形生成

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 场景图生成 (SGG) 是一个复杂的跨模式任务,需要同时识别实体和关系.
• 现实世界数据的长尾分布导致SGG模型偏向于常见关系,忽视更罕见的关系.
• 现有的方法专注于数据再平衡或特征精细化,但未能解决灾难性干扰的核心问题.

研究的目的:

• 为创建场景图形生成中的长尾问题提出一个新的建模级别的解决方案.
• 引入一个以海马体记忆过程为灵感的网络架构,以对抗灾难性干扰.
• 通过改善罕见关系的表示来提高场景图的准确生成.

主要方法:

• 开发了海马体内存像分离完成协作网络 (HMSC2),以模仿海马体编码和检索.
• 实现梯度分离分类器和原型分离 学习模拟分离分类器和原型,减少尾部类别的干扰.
• 引入了原型完成模块和对比连接模块,以补充不完整的信息并连接超球空间中的表示.

主要成果:

• 在视觉基因组和GQA数据集上,HMSC2实现了最先进的性能.
• 提出的方法有效地缓解了场景图形生成中的长尾问题.
• 在无偏见的SGG任务执行方面表现出显著的改进.

结论:

• HMSC2网络提供了一种新且有效的方法来解决场景图形生成中的长尾问题.
• 记忆启发的机制为未来的研究提供了一个有希望的方向,以解决人工智能任务中的数据不平衡问题.
• 在基准数据集上的成功应用验证了拟议方法的有效性.