一个动态的马来西亚手语数据集用于手语识别和翻译

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 语言学的语言学.

背景情况:

• 手语是独一无二的,在文化上有细微差别,这给自动识别和翻译带来了挑战.
• 现有的马来西亚手语 (BIM) 数据集的规模和范围有限,阻碍了有效的机器学习模型的开发.
• 目前的数据集主要集中在孤立的字符,单词和短短短语上,未能捕捉到手语沟通的连续性质.

研究的目的:

• 引入马来西亚手语 (BIM) 的全面和动态数据集,以解决研究中的数据限制.
• 促进先进的手语识别和翻译系统的发展.
• 支持使用Sign-to-Gloss-to-Text框架和其他相关方法的研究.

主要方法:

• 开发了BIM数据集的两个版本:BIM-SSD-V1 (视频,光泽,翻译) 和BIM-SSD-V2 (视频,关键点,光泽用于识别;光泽,翻译用于翻译).
• 收集的数据反映了日常沟通场景,包括各种各样的句子构造和各种各样的记录条件.
• 与聋人和听力障碍者社区以及BIM专家合作进行数据编译和注释,确保真实性和相关性.

主要成果:

• BIM-SSD-V1包含4,858个并行视频,光泽和翻译数据输入.
• BIM-SSD-V2包括3,143个并行视频,关键点和光泽数据,以及4,900个并行光泽和翻译数据条目.
• 数据集包括原始视频和手语模块,每个条目有四个样本,以提高可用性.

结论:

• 新推出的动态BIM数据集显著扩大了马来西亚手语研究的资源.
• 这一数据集使机器学习模型能够进行更强大的训练,以实现持续的手语识别和翻译.
• 它为旨在改进手语技术的研究人员提供了宝贵的资源,特别是在Sign-to-Gloss-to-Text框架内.