トピック分類の固定および文脈的なワードエンベディングに対するバックトランスレーション効果

科学分野:

• 自然言語処理
• 機械学習

背景:

• テキストデータの整理には,トピック分類が不可欠です.
• バックトランスレーションのようなデータ拡張技術は モデルのパフォーマンスを高めることができます
• これらのテクニックを 異なる文字埋め込みタイプで評価することは不可欠です

研究 の 目的:

• トピック分類のパフォーマンスに対するバックトランスレーションの影響を評価する.
• 静的な単語ベクトル (FastText) と文脈的な埋め込み (RoBERTa) の有効性を比較する.
• 低リソース言語と様々な分類アルゴリズムの利点を決定する.

主な方法:

• 実験ではロジスティック回帰,SVM,ランダムフォレスト,RNN-LSTM分類器を使用した.
• データセットは6つの言語にわたるバックトランスレーションを使用して拡張されました.
• 性能はF1スコアを使用して評価され,元のデータと拡張されたデータを比較した.

主要な成果:

• バックトランスレーションは,静的な埋め込みのF1スコアを一貫して改善しました (ランダムフォレストでは2.80%まで).
• 静的な埋め込みを持つRNN-LSTMの改善は小さく,しばしば統計的に有意ではありませんでした.
• バックトランスレーションは,RoberTaの文脈的な埋め込みにはほとんど影響せず,F1スコアに有意な上昇を示さなかった.

結論:

• バック翻訳は,トピック分類における静的な単語埋め込み,特に低リソース言語のための貴重なデータ増強戦略です.
• RoBERTaのような現代的なコンテキストモデルでは,外部アグメンテーションへの依存が少なく,高いパフォーマンスを示しています.
• 先進的な文脈認識モデルでは バックトランスレーションの有用性は限られている.