WBA：中国語固有表現抽出のための単語境界アテンション

科学分野:

• 自然言語処理
• 計算言語学
• 人工知能

背景:

• 中国語は、並列的な単語構造と連続的な文字接続という独自の構造的特性を示します。
• 既存の方法では、中国語テキストにおける文字と単語の間の微妙な関係を完全に捉えきれない場合があります。

研究 の 目的:

• 中国語自然言語処理のための新しいアテンションメカニズムを開発すること。
• 単語ラティスから派生したコンテキスト情報を組み込むことにより、文字表現を強化すること。
• 単語認識を改善し、シーケンスラベリングタスクで辞書ベースのコンテキストを活用すること。

主な方法:

• 相対位置エンコーディングスキーム内で、単語内のヘッド文字とテール文字の位置を抽出しました。
• 文字に動的なアテンションウェイトを割り当てるために、単語境界アテンション（WBA）を導入しました。
• 単語ラティスのコンテキスト情報を使用して、文字表現を強化しました。

主要な成果:

• WBAは、複数のデータセットにわたって、既存のアプローチを常に上回るパフォーマンスを示しました。
• YJ辞書エンコーディングを使用したWeiboデータセットで、ベースモデルと比較して2.51%の改善を達成しました。
• 可視化により、単語と文字の間の解釈可能な関係が明らかになり、単語発見に関する洞察が得られました。

結論:

• 単語境界アテンションは、単語境界を効果的にモデル化し、ノイズを抑制し、中国語NLPにおける単語認識を改善します。
• 提案手法は、より豊富な辞書ベースのコンテキストを活用し、優れたパフォーマンスにつながります。
• このアプローチは、単語レベルと文字レベルの情報間の相互作用に関する解釈可能な洞察を提供します。