聴覚障害者や言語障害者を助けるために,注意を駆動するハイブリッド・ディープ・ラーニングを組み合わせた特徴表現の活用
Abrar Almjally1,2, Shabbab Ali Algamdi3, Nasser Aljohani4
1Department of Information Technology, College of Computer and Information Sciences, Imam Mohammad Ibn Saud Islamic University (IMSIU), Riyadh, 13318, Saudi Arabia. aamjally@imamu.edu.sa.
Scientific reports
|September 1, 2025
まとめ
この研究は 98.10%の精度を達成する正確な手話認識 (SLR) のための高度なディープラーニングモデルを導入しています. このモデルは,リアルタイムのジェスチャー認識を向上させることで,聴覚や言語障害のある人のコミュニケーションを強化します.
科学分野:
- コンピュータ科学
- 人工知能
- 人とコンピュータの相互作用
背景:
- サイン・ランゲージ・認識 (SLR) は,聴覚障害者のコミュニケーションアクセシビリティに不可欠です.
- SLR用の既存のディープラーニングモデルは,精度やリアルタイムの性能に問題があります.
- SLRは手話と非手話の複雑な特徴を認識することを含みます.
研究 の 目的:
- 正確な手話認識のための機能融合による注意力駆動ハイブリッドディープラーニングモデル (AHDLMFF-ASLR) を提案する.
- 聴覚障害者のコミュニケーションを改善するために リアルタイムでジェスチャー認識を 強化します
- 既存のモデルと比較して,手話認識の精度が高くなる.
主な方法:
- カントラスト限定適応ヒストグラム均等化 (CLAHE) とカニーエッジ検出 (CED) を使用した画像予行処理.
- スウィン・トランスフォーマー (ST),ConvNeXt-Large,ResNet50モデルを統合した機能抽出.
- ハイブリッドコンヴォルションニューラルネットワークと双方向の長期短期記憶と注意 (C-BiL-A) テクニックを用いた分類.
主要な成果:
- AHDLMFF-ASLRモデルは,SLデータセットで98.10%の高い精度を達成しました.
- 既存の手話認識モデルと比較して優れたパフォーマンスを示した.
- 機能抽出と分類のための高度なディープラーニングアーキテクチャの効果的な統合.
結論:
- AHDLMFF-ASLRモデルは,手話認識の精度と効率を大幅に向上させます.
- このモデルは 聴覚障害者のための リアルタイム通信支援の 実現に寄与しています
- 提案されているハイブリッド・ディープ・ラーニングのアプローチは,複雑な視覚認識タスクのための堅固な枠組みを提供します.
