トルコ手話、アラビア手話、アメリカ手話のためのディープラーニングを用いたポーズベース静的手話認識

科学分野:

• 人工知能
• コンピュータビジョン
• 計算言語学

背景:

• 人工知能の進歩は、聴覚障害者のコミュニケーションを改善します。
• クロスリンガル手話認識（SLR）システムは、コミュニケーションのギャップを埋める上で重要です。
• 既存のSLRフレームワークは、多様な言語間で堅牢性に欠けることがよくあります。

研究 の 目的:

• トルコ手話、アメリカ英語手話、アラビア手話のための堅牢なクロスリンガル手話認識（SLR）フレームワークを提示すること。
• SLRのための異なるディープラーニングアーキテクチャの有効性を比較すること。
• ポーズベースSLRシステムにおけるモデルの汎化に関する洞察を提供すること。

主な方法:

• MediaPipeライブラリを利用して、効率的な手のランドマーク抽出を行いました。
• トルコ手話、アメリカ英語手話、アラビア手話の9つの公開ドメインソースから多様なデータセットを構築しました。
• ConvNeXt（CNNベース）、Swin Transformer（ViTベース）、Vision Mamba（SSMベース）アーキテクチャの比較評価を実施しました。

主要な成果:

• Vision Transformerと状態空間モデルは、空間的合図を捉える上で優れた性能を発揮しました。
• このフレームワークは、言語間で安定した一貫した特徴表現を達成しました。
• 比較分析により、モデルの汎化能力が異なる手話間で際立っています。

結論:

• 現代のVision Transformerと状態空間モデルは、クロスリンガルSLRに非常に効果的です。
• 本研究は、ポーズベースSLRシステムで適切なモデルを選択するための貴重な洞察を提供します。
• 開発されたフレームワークは、聴覚障害者のコミュニケーションアクセシビリティを向上させます。