単純な階層言語におけるスケーリング則と表現学習：Transformer対畳み込みアーキテクチャ

科学分野:

• 計算言語学
• 機械学習理論
• ディープラーニングアーキテクチャ

背景:

• ニューラル言語モデル（NLM）は、次のトークン予測タスクでトレーニングされます。
• NLMが言語構造をどのように獲得するかを理解することは、重要な研究課題です。
• 以前の研究では、データ相関に基づいた表現学習理論が確立されました。

研究 の 目的:

• 合成データでトレーニングされたNLMの理論的スケーリング則を導出すること。
• モデルアーキテクチャが言語構造の学習に与える影響を調査すること。
• アーキテクチャの違いを考慮するために、既存の表現学習理論を拡張すること。

主な方法:

• ニューラルネットワークパフォーマンスの理論的スケーリング則を開発しました。
• ランダム階層モデル（RHM）からの合成データセットを利用しました。
• アーキテクチャのバリエーションを組み込むために、表現学習理論を拡張しました。

主要な成果:

• 畳み込みネットワークは、Transformerモデルよりも高速なパフォーマンスのスケーリングを示します。
• ニューラルスケーリング則におけるアーキテクチャバイアスが特定されます。
• ネットワークパフォーマンスに関する経験的に検証された予測。

結論:

• モデルアーキテクチャは、NLMが言語構造を学習する方法に大きく影響します。
• ネットワークアーキテクチャとデータの統計的特性との整合性が重要です。
• 発見は、NLMにおけるアーキテクチャ、データ、および表現学習の相互作用を明確にします。