ADAT：手話翻訳のための新しい時系列対応アダプティブ・トランスフォーマーアーキテクチャ

科学分野:

• コンピューターサイエンス; 人工知能; 自然言語処理

背景:

• 現在の手話翻訳システムは、微細な時間的依存関係と効率的なトレーニングに苦労しています。トランスフォーマーアーキテクチャは、長距離の依存関係には効果的ですが、高フレームレートのジェスチャー認識には非効率的です。

研究 の 目的:

• 手話機械翻訳を改善するための適応型トランスフォーマーアーキテクチャであるADATを導入すること。既存モデルにおける短距離の時間的依存関係の認識と二次的注意の複雑さの限界に対処すること。

主な方法:

• 畳み込み特徴抽出、対数スパース自己注意、および適応ゲートを組み合わせたADATを開発しました。RWTH-PHOENIX-Weather-2014（PHOENIX14T）、ISL-CSLTR、およびMedASL医療手話コーパスでADATを評価しました。

主要な成果:

• ADATは、手話からグロスを経てテキストへの翻訳においてBLEU-4スコアを少なくとも0.1%向上させ、トレーニング時間を21%短縮しました。手話からテキストへの翻訳では、ADATは最低0.5%のBLEU-4ゲインと平均21.8%のトレーニング速度向上を達成しました。ADATは、手話からテキストへの翻訳において、エンコーダーのみおよびデコーダーのみのベースラインよりも少なくとも0.7%高い精度を示しました。

結論:

• ADATは、手話における短距離および長距離の時間的依存関係の両方を効率的にモデル化します。提案された適応型トランスフォーマーアーキテクチャは、手話機械翻訳に対してより正確で効率的なソリューションを提供します。