分布假设作为单词共发生和模拟平行体之间的同态

科学领域:

• 计算语言学计算语言学
• 自然语言处理 (NLP) 是一种自然语言处理.
• 认知科学 认知科学

背景情况:

• 现代NLP依赖于矢量空间模型,其中单词是高维矢量.
• 词向量显示几何结构,如"平行图",使得模拟推理 (例如,A:B::C:D).
• 在NLP模型中这些几何性质的出现仍然不完全理解.

研究的目的:

• 调查假设,词向量的平行图排列是语言的共发生统计的固有因素.
• 探索词嵌入中的几何结构的以数据为中心的解释,与以模型为中心的方法分开.
• 提供精细的分布假设,将语言结构与单词共发生模式联系起来.

主要方法:

• 分析大图共发生矩阵的分解,以实现模拟推理.
• 构建一个小的人工体来生成词向量和观察几何构造.
• 检查单词同时出现数据的统计属性.

主要成果:

• 通过分解大图共发生矩阵,可以证明可实现模拟推理.
• 形成一个平行管,一个比平行四边形更复杂的几何结构,在一个人工体中被证明.
• 有证据表明,词向量的几何性质植根于语言数据的统计结构.

结论:

• 这项研究支持这样一个假设,即词向量几何学,包括平行线构成,起源于语言的共发生统计数据.
• 提出了一个精细的分布假设,突出了语言对称性/可交换性和单词共发生模式之间的同态性.
• 研究结果表明,专注于数据属性为理解NLP中的语义表示提供了新的视角.