3Dカメラベースのアプローチで,イタリア手話でリアルタイムで手の構成を認識する

科学分野:

• コンピュータビジョン コンピュータビジョン
• 人間とコンピュータの相互作用です.
• 言語学 言語学とは

背景:

• 聴覚障害は,特に手話通訳がなくても,コミュニケーションの障壁を提示します.
• 手の形状認識は,イタリア手話 (LIS) などの手話の理解に不可欠です.
• 既存の方法は,しばしば構成認識と一時的ジェスチャーモデリングを統合しています.

研究 の 目的:

• LISの独立した分類タスクとして,ハンドコンフィギュレーション認識に取り組む.
• この作業のためにRGB-Dセンシングを利用した機械ビジョンフレームワークを提案する.
• 分類の性能に対する実際の深さのデータの影響を評価する.

主な方法:

• MediaPipeの手動のランドマーク抽出と標準化された3D幾何学的特徴を組み合わせたフレームワークを開発しました.
• コンフィギュレーション認識のためのサポートベクトルマシン (SVM) 分類器を使用しました.
• 統合されたセンサーで取得されたRGB-D深度測定とランドマークベースの機能.

主要な成果:

• 提案された方法は,LISのハンドコンフィギュレーションの分類性能とクラス分離性を大幅に改善します.
• リアルディープデータの使用は,特に幾何学的に類似した構成の認識を向上させます.
• タイムモデリングからの解離構成認識は,タスクを簡素化し,結果を改善します.

結論:

• リアルディープデータは,LISにおける手形構成の強固な認識に不可欠です.
• 提案された枠組みは,高度なLIS分析システムの開発に有望なアプローチを提供します.
• この研究は,基本的な構成レベルの問題に焦点を当てることで,手話認識の分野を前進させる.