マルチステージ知識蒸留によるエンドツーエンド音声翻訳の強化

科学分野:

• 人工知能
• 自然言語処理
• 機械学習

背景:

• 知識蒸留（KD）は、機械翻訳（MT）教師モデルを使用して音声テキスト翻訳（ST）を強化します。
• 現在のKD手法は、教師の出力分布に依存して限られた知識を転送するため、学生モデルのパフォーマンスを妨げます。
• STデータの不足は、MTからSTモデルへの包括的な知識転送をさらに制限します。

研究 の 目的:

• STにおけるより効果的な知識転送のためのマルチグレイン蒸留手法を提案すること。
• 既存のKD手法が深い表現を捉え、データ不足を処理する上での限界に対処すること。
• エンドツーエンド音声テキスト翻訳の全体的な品質と有効性を向上させること。

主な方法:

• 適応型単語レベル蒸留を導入し、困難な翻訳を優先しました。
• MTおよびSTモデル表現を整列させるためのクロスモーダル隠れ状態蒸留を実装し、音声-テキストモダリティギャップを橋渡ししました。
• 外部ASR、MT、およびSTデータを利用するマルチステージ知識蒸留（MSKD）フレームワークを開発しました。

主要な成果:

• MSKDはMuST-Cデータセットで最先端のパフォーマンスを達成し、以前のKD手法を+2.5 BLEU上回りました。
• 外部データを使用すると、MSKDは強力なエンドツーエンドSTベースラインを+2.9 BLEU、カスケードシステムを+1.9 BLEU上回りました。
• STパフォーマンスの大幅な改善を示し、手法の有効性とスケーラビリティを強調しました。

結論:

• 提案されたマルチグレイン蒸留手法は、STの知識転送を大幅に強化します。
• MSKDは、多様なデータソースと蒸留技術を効果的に利用して、段階的なSTパフォーマンスを向上させます。
• このフレームワークは、エンドツーエンド音声テキスト翻訳機能を前進させるためのスケーラブルで効果的なアプローチを提供します。