Sign4all: スペイン手話のデータセット
Francisco Morillas-Espejo1, Ester Martinez-Martin2
1RoViT Lab, Department of Computer Science and Artificial Intelligence, University of Alicante, Carretera de San Vicente del Raspeig s/n, E-03690, Alicante, Spain. francisco.morillas@ua.es.
Sign4allは,スペイン手話認識 (LSE) の新しいデータセットで,データの散らさや手つきのバイアスに対処しています. この高密度,バランスの取れたデータセットは,包括的な人間と機械の相互作用のための高度なディープラーニングをサポートします.
科学分野:
- コンピュータサイエンス コンピュータサイエンス
- 人工知能 (AI) とは,人工知能 (AI) のことです.
- 人とコンピュータの相互作用です.
背景:
- サイン・ランゲージ・認識 (SLR) は,インクルーシブ・テクノロジーにとって極めて重要です.
- 既存のデータセットは,データ稀量性や右利きバイアスなどの課題に直面しています.
- スペイン手話 (LSE) のような特定の手話のための包括的なデータセットが必要である.
研究 の 目的:
- Sign4allは,スペイン手話 (LSE) の孤立した手話認識 (ISLR) のための新しいデータセットです.
- 現在のSLRデータセットにおけるデータ散らさやハンドネスバイアスを解決する.
- LSE.のための堅実なディープラーニングモデルの開発を促進します.
主な方法:
- 24のLSEの標識 (ケータリングの語彙) のための7,756の高解像度RGBビデオと骨格のキーポイントを収集しました.
- 高密度のアプローチを導入し,平均で1サインあたり323個のサンプルを採取しました.
- ハンドネスバランス (左手/右手記号が等しく) を確保し,マニュアルセグメンテーション,時的,空間的正常化を適用しました.
- ディープラーニングフレームワークとの互換性のためにAVI (ビデオ) とHDF5 (キーポイント) でフォーマットされたデータ.
主要な成果:
- Sign4allのデータセットは,サイン1つあたり平均323個のサンプルを提供しており,データの散らさが大幅に減少しています.
- ハンドネス・バランスを達成し,サイン・ハンドネスにインヴァリアントなモデルを開発するために不可欠です.
- トランスフォーマーと骨格モデルを用いた技術的検証により,データセットの完全性が確認されました.
- 効果的なモデルのトレーニングのために,事前計算された拡張分割の必要性を実証した.
結論:
- Sign4allは,スペイン手話認識研究のための貴重な,高密度,バランスの取れたリソースを提供します.
- データセットの設計は,以前のSLRデータセットの制限を直接に対処しています.
- Sign4allは,聴覚障害者や聴覚障害者コミュニティのための包括的な人間機械インタラクション技術の進歩を支援しています.
さらに関連する動画
09:00Author Spotlight: Validation of SICOLE-R for Assessing Cognitive and Reading Skills in Spanish-Speaking Children and Its Role in Personalized Education
Published on: August 16, 2024
06:07Exploring Infant Sensitivity to Visual Language using Eye Tracking and the Preferential Looking Paradigm
Published on: May 15, 2019
関連する概念動画
Sign Test for Nominal Data
For example, consider a...
Introduction to the Sign Test
Genetic Lingo
Sign Test for Median of Single Population
Sign Test for Matched Pairs
To conduct the sign test, we first calculate the differences in...
Sign Convention
The normal force acts perpendicular to the beam's cross-section and can...
