在纯文本语言模型中接地空间关系
Gorka Azkune1, Ander Salaberria1, Eneko Agirre1
1HiTZ Basque Center for Language Technologies - Ixa NLP Group, University of the Basque Country (UPV/EHU), M. Lardizabal 1, Donostia 20018, Basque Country, Spain.
纯文本语言模型 (LMs) 可以通过使用对象位置数据来学习空间推理. 在合成数据上进行预训练显著提高了性能,使得LM能够在空间任务上胜过视觉语言模型.
科学领域:
- 自然语言处理自然语言处理.
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 空间推理是一个复杂的认知任务,对于理解视觉场景至关重要.
- 当前的模型往往依赖于多式输入 (视觉和语言) 来进行空间理解.
- 只有文本模型在没有明确的位置提示的情况下,在接地空间关系方面存在局限性.
研究的目的:
- 调查只有文本语言模型 (LMs) 是否可以学习使用显式对象位置信息接地空间关系.
- 评估预训练对合成数据集的影响,以改善LM的空间推理.
- 与现有的视觉和语言模型相比,将仅文本LM的性能与位置接地进行比较.
主要方法:
- 从视觉空间推理 (VSR) 数据集中的图像与来自对象探测器的对象位置令牌进行语言化.
- 在合成生成的数据集上预训练纯文本LM,其中包含空间关系和位置数据.
- 评估LM在VSR数据集上区分真实和假的空间关系的能力.
主要成果:
- 只有文本的LM,当提供位置令牌和预训练时,在空间关系任务上显著提高了性能.
- 提出的方法在VSR数据集上取得了最先进的结果,超过了视觉和语言模型.
- LM 展示了概括能力,学习超出了合成数据中明确编码的空间规则.
结论:
- 显式的对象位置信息使仅文本的LM能够有效地建立空间关系.
- 对相关合成数据的训练对于在文本空间推理中实现高性能至关重要.
- 这项研究在复杂的推理任务中提升了纯文本模型的功能,挑战了某些空间理解的多式联络输入的必要性.
更多相关视频
07:36Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects
Published on: November 30, 2018
09:27Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language
Published on: October 13, 2018
相关概念视频
State Space Representation
Consider an RLC circuit, a...
Selected Data About Geographic Locations
Parseval's Theorem
Interestingly, Parseval's theorem also holds for the trigonometric form of the Fourier series, which...
Lateralization
Relating Angular And Linear Quantities - II
Relating Angular And Linear Quantities - I
When comparing the linear and rotational variables individually, the linear variable of position has physical units of meters, whereas the angular position variable has dimensionless units of radians, as it is the ratio of two lengths. The linear velocity...
