ViSQA: ベトナム語音声質問応答のためのベンチマークデータセットとベースラインモデル

科学分野:

• 自然言語処理
• 音声認識
• 機械学習

背景:

• 音声質問応答（SQA）は、自動音声認識（ASR）と言語理解を統合します。
• 既存のSQAベンチマークは、ベトナム語のような低リソース言語では限定的です。
• ベトナム語SQAには、研究開発のための標準化されたデータセットが不足しています。

研究 の 目的:

• ベトナム語音声質問応答のための最初のベンチマークデータセットであるViSQAを導入します。
• 自動音声認識（ASR）トランスクリプション品質の変動下でSQAモデルを体系的に評価できるようにします。
• 下流の言語理解タスクに対するASRエラーの影響に関する研究を促進します。

主な方法:

• テキスト音声合成およびASRパイプラインを使用してUIT-ViQuADコーパスを拡張しました。
• 整列された音声オーディオで13,000以上の質問応答ペアを作成しました。
• 頑健な評価のために、クリーンおよびノイズ劣化オーディオバリアントを含めました。
• 5つのトランスフォーマーベースのモデルで実験を実施しました。

主要な成果:

• 自動音声認識（ASR）エラーは、SQAモデルのパフォーマンスを大幅に低下させます（例：ViT5 EM：62.04％から36.30％）。
• 音声トランスクリプションでモデルをトレーニングすると、ASRエラーに対する頑健性が向上します（例：ViT5 EM：36.30％から50.70％）。
• トランスクリプションの不正確さによる大幅なパフォーマンス低下を実証しました。

結論:

• ViSQAは、ベトナム語音声質問応答システムのための厳格なベンチマークとして機能します。
• SQAパフォーマンスに対するASR品質の重要な影響を強調します。
• ベトナム語のより頑健なSQAモデルの開発のための基盤を提供します。