FeniVerse:Feni方言,标准孟加拉语和英语的平行语料库
Mehraj Hossain Mahi1, Anzir Rahman Khan1, Zesanul Hoque1
1Multidisciplinary Action Research Lab, Department of Computer Science and Engineering, Daffodil International University, Birulia, Dhaka 1216, Bangladesh.
FeniVerse推出了Feni方言的第一个三语言数据集,解决了孟加拉方言资源中的一个关键缺口. 该集体支持为代表性不足的语言社区开发先进的语言技术.
科学领域:
- 计算语言学 计算语言学
- 语料库语言学 语料库语言学
- 自然语言处理自然语言处理.
背景情况:
- 对于孟加拉语方言,特别是Feni方言,存在有限的数据集和工具.
- 费尼方言是由孟加拉国东南部大约160万人说的.
- 由于培训数据不足,现有的AI和NLP模型面临处理Feni方言的挑战.
研究的目的:
- 介绍FeniVerse,这是Feni方言的第一个三语言平行语库.
- 为计算语言学和NLP研究提供一个有价值的资源.
- 为低资源语言促进公平的AI开发.
主要方法:
- 在英语,标准孟加拉语和Feni方言中手动整理了4094条条目.
- 句子对齐的翻译总数为12282.2.
- 由Feni母语使用者和区域志愿者进行交叉检查,以确保准确性和变异性.
主要成果:
- 为法尼方言创建一个独特的三语平行语库.
- 确保语音,词汇和语法变化的准确性和保存.
- 开放的可访问性,以便无地集成到NLP管道中.
结论:
- "FeniVerse"是为Feni方言开发有效的语言技术的重要资源.
- 该数据集支持诸如方言识别,机器翻译和跨语言分析等应用程序.
- 促进区域孟加拉语方言的数字保存,并支持学术研究和人工智能应用.
更多相关视频
12:49Transcranial Direct Current Stimulation tDCS of Wernicke's and Broca's Areas in Studies of Language Learning and Word Acquisition
Published on: July 13, 2019
06:04Systematic Hearing Performance Evaluation Process for Adolescents with Cochlear Implantation at Early Ages
Published on: March 24, 2023
相关概念视频
Components of Language
Language
Corballis and Suddendorf (2007) and Tomasello and Rakoczy (2003) highlight the role of language in...
Language Development
The critical period for language acquisition suggests that the ability to acquire language is at its peak early in life. As people age, this proficiency decreases. Language development begins very...
Language and Cognition
Convergent Evolution
Identifying Statistically Significant Differences: The F-Test
