一种基于任务分解的视觉问题答案方法
1College of Intelligent Systems Science and Engineering, Harbin Engineering University, Harbin, Heilongjiang, China.
PloS one
|November 13, 2025
概括
本研究介绍了用于视觉问题答案 (VQA) 的图形到序列任务分解网络 (Graph2Seq-TDN). 这种新的方法增强了对自然语言的理解,用于准确的任务分解和改进推理执行,优于传统方法.
科学领域:
- 计算机视觉 计算机视觉
- 自然语言处理自然语言处理.
- 人工智能的人工智能
背景情况:
- 视觉问题答案 (VQA) 集成计算机视觉和自然语言处理来评估视觉推理.
- 传统的VQA方法通常依赖于多模式融合,这可能容易导致数据偏差和缺乏可解释性.
- 任务分解 VQA 方法提供了更好的解释性和减少偏差,但在灵活的自然语言解析方面存在困难.
研究的目的:
- 通过利用自然语言的语义结构信息来提高VQA中任务分解的准确性.
- 提高VQA系统中的推理执行性能.
- 开发一种新的VQA模型,克服现有的任务分解方法的局限性.
主要方法:
- 提出一个图形到序列任务分解网络 (Graph2Seq-TDN),利用语义图形结构进行自然语言解析.
- 实现一个新的推理执行器来增强符号推理能力.
- 在不同的数据集上验证模型,包括CLEVR,CLEVR-Human,CLEVR-CoGenT和GQA.
主要成果:
- 与基线方法相比,Graph2Seq-TDN模型显示出更高的答案准确性.
- 建议的任务分解方法显著提高了程序的准确性.
- 该模型在同等准确性下实现了更好的性能,降低了培训成本.
结论:
- 以语义结构信息为指导的任务分解为VQA提供了一个有希望的方向.
- 该Graph2Seq-TDN模型有效地解决了用于VQA任务分解的自然语言解析的挑战.
- 拟议的推理执行器提高了VQA的整体性能和效率.


