英語とコックボロクのコード混合文の低リソース言語識別

科学分野:

• 計算言語学
• 自然言語処理
• 低リソース言語技術

背景:

• 多言語テキストの使用は自動言語検出を必要とします。
• コードスイッチングとコードミキシングは、インドの言語を含む多くの言語で普及しています。
• 既存の研究では、低リソース言語ペアが見過ごされがちです。

研究 の 目的:

• 単語レベルの言語識別のための教師なしモデルを開発すること。
• 英語とコックボロクのコード混合テキストにおける言語検出の特定の課題に対処すること。
• 低リソース言語ペアの言語識別の先駆者となること。

主な方法:

• 頻度辞書と文字n-gramモデルを組み合わせたハイブリッドアプローチ。
• 文字n-gramマルコフモデルと頻度辞書を統合するためにViterbi技術を利用しました。
• 低リソースシナリオ向けに設計された教師なし方法。

主要な成果:

• 英語とコックボロクの言語識別のための単語レベルの精度93.15%を達成しました。
• BiLSTM-CRFモデル（88.5%）およびルールベースベースライン（85.3%）を上回りました。
• 辞書と統計的手法を組み合わせた有効性を示しました。

結論:

• 提案された教師なしモデルは、低リソース設定における単語レベルの言語検出に効果的です。
• 辞書と統計的アプローチを組み合わせることは、低リソース言語にとって実行可能な戦略です。
• この研究は、これまで対処されていなかった言語ペアにおけるコード混合テキストの分析のための基本的な方法を提供します。