预训练图形反复网络用于文本理解

科学领域:

• 自然语言处理自然语言处理.
• 深度学习架构 深度学习架构
• 计算语言学 计算语言学

背景情况:

• 变压器模型主导自然语言处理 (NLP),但由于依赖特殊令牌,遭受二次时间复杂性和有限的句子级表达力.
• 已经探索了CNN,MLP和SSM等现有的替代方案,但效率和表示质量的局限性仍然存在.

研究的目的:

• 为语言模型预培训提出一个新的图形反复网络 (GRN),以解决变压器架构的局限性.
• 为了实现与现有模型相比较的性能,提高推断效率和更好的表示质量.

主要方法:

• 为预训练语言模型开发了具有线性时间复杂性的图形反复网络.
• 为每个序列构建了一个图形结构,使本地令牌级通信成为可能.
• 引入了一个独立的句子级别表示,独立于正常令牌.

主要成果:

• 拟议的GRN在英语和中文文本理解任务上实现了与基于变压器的模型可比的性能.
• 与现有的预训练模型相比,证明了明显更高的推断效率.
• 发现GRN产生了更多的多样化和统一的表示,减轻了像表示退化这样的问题.

结论:

• 图形反复网络为语言模型预训练提供了对变压器模型的可行和高效的替代方案.
• GRN的架构有效地解决了计算成本和表示限制,从而提高了性能和效率.
• 该模型能够产生多样化和统一的表示,从而提高其在各种NLP任务中的应用性.