HiCL：教師なし文埋め込みの階層的対照学習

科学分野:

• 自然言語処理
• 機械学習
• 人工知能

背景:

• 従来のシーケンスエンコーディング法は、しばしば局所的なテキストの特徴を見落としており、短いテキストへの一般化を妨げている。
• 既存のアプローチは、トレーニング効率と表現学習の有効性のバランスをとる上で課題に直面している。

研究 の 目的:

• HiCL、新しい階層的対照学習フレームワークを提案すること。
• テキスト表現学習におけるトレーニング効率と有効性を強化すること。
• 意味的テキスト類似性（STS）タスクのパフォーマンスを向上させること。

主な方法:

• HiCLは階層的アプローチを採用し、局所的なセグメントレベルと全体的なシーケンスレベルの両方でテキストを処理する。
• セグメントとシーケンスの表現の両方に対して対照学習を利用する。
• 短いセグメントを最初に処理し、次にそれらを集約することで効率的なエンコーディングを実現し、トランスフォーマーの二次的複雑性に対処する。

主要な成果:

• HiCLは、7つのSTSタスクでSNCSEモデルのパフォーマンスを大幅に向上させる。
• BERT_largeで+0.2%、RoBERTa_largeで+0.44%の平均改善が観察された。
• このフレームワークは、従来のメソッドと比較して優れた有効性と効率を示す。

結論:

• HiCLは、テキスト表現学習に効果的かつ効率的なアプローチを提供する。
• 階層的対照学習戦略は、局所的および全体的なテキスト関係の両方をうまくモデル化する。
• このフレームワークは、意味的テキスト類似性研究の進歩のための強力な基盤を提供する。