Sign4all:一个西班牙手语数据集
Francisco Morillas-Espejo1, Ester Martinez-Martin2
1RoViT Lab, Department of Computer Science and Artificial Intelligence, University of Alicante, Carretera de San Vicente del Raspeig s/n, E-03690, Alicante, Spain. francisco.morillas@ua.es.
Sign4all是西班牙手语识别 (LSE) 的新数据集,解决了数据稀疏性和手性偏差. 这种高密度,平衡的数据集支持先进的深度学习,以实现包容性的人机交互.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 标语识别 (SLR) 对于包容性技术至关重要.
- 现有的数据集面临着数据稀疏性和右撇子偏差等挑战.
- 需要针对特定的手语,如西班牙手语 (LSE) 提供全面的数据集.
研究的目的:
- 介绍Sign4all,这是西班牙手语 (LSE) 中孤立手语识别 (ISLR) 的新型数据集.
- 在当前的单反相机数据集中解决数据稀疏性和手性偏差.
- 促进LSE.强大的深度学习模型的开发.
主要方法:
- 收集了7756个高分辨率RGB视频和24个LSE标志的骨架关键点 (餐饮词汇).
- 实施了高密度方法,平均每标志采用323个样本.
- 确保了双手平衡 (等同的左手/右手标志) 并应用了手动细分,时间和空间正常化.
- 以AVI (视频) 和HDF5 (关键点) 格式化数据,以便与深度学习框架兼容.
主要成果:
- "Sign4all"数据集平均为每个标志提供323个样本,大大降低了数据稀疏性.
- 实现了手性平衡,对于开发不变的模型来标志手性至关重要.
- 使用变压器和骨架模型的技术验证证实了数据集完整性.
- 证明了用于有效模型训练的预计算增强分割的必要性.
结论:
- Sign4all为西班牙手语识别研究提供了一个有价值,高密度和平衡的资源.
- 数据集的设计直接解决了以前的单反相机数据集的局限性.
- Sign4all支持为聋人和听力障碍者社区推进包容性人机交互技术.
更多相关视频
09:00Author Spotlight: Validation of SICOLE-R for Assessing Cognitive and Reading Skills in Spanish-Speaking Children and Its Role in Personalized Education
Published on: August 16, 2024
06:07Exploring Infant Sensitivity to Visual Language using Eye Tracking and the Preferential Looking Paradigm
Published on: May 15, 2019
相关概念视频
Sign Test for Nominal Data
For example, consider a...
Introduction to the Sign Test
Genetic Lingo
Sign Test for Median of Single Population
Sign Test for Matched Pairs
To conduct the sign test, we first calculate the differences in...
Sign Convention
The normal force acts perpendicular to the beam's cross-section and can...
