为乌兹别克斯坦开发命名实体识别算法:数据集见解和实施
Davlatyor Mengliev1,2, Vladimir Barakhnin1,2,3, Nilufar Abdurakhmonova4
1Urgench branch of Tashkent University of Information Technologies named after Muhammad al-Khwarizmi, 110, al-Khwarizmi str., 220100, Urgench city, Uzbekistan.
Data in brief
|May 6, 2024
概括
本研究引入了乌兹别克语中命名实体识别 (NER) 的新数据集和算法. 这项工作解决了乌兹别克语在NLP中的不足,并有助于未来的研究和应用.
科学领域:
- 自然语言处理 (NLP) 是一种自然语言处理.
- 计算语言学 计算语言学
- 机器学习 机器学习
背景情况:
- 乌兹别克语在自然语言处理 (NLP) 应用中显著不足.
- 资源有限的语言需要专门的数据集和NLP任务的方法.
- 乌兹别克斯坦现有的NLP工具和资源有限,阻碍了其技术进步.
研究的目的:
- 以乌兹别克语语言呈现一个新的命名实体识别 (NER) 数据集.
- 在乌兹别克文文本中开发和评估识别命名实体的算法.
- 为低资源语言的NER提供方法论基础.
主要方法:
- 创建一个数据集,包括1,160个乌兹别克语句子,大约有19,000个单词形式.
- 语音部分和命名实体的数据集注释.
- 用创建的数据集开发乌兹别克斯坦NER的两个算法.
主要成果:
- 一个关于乌兹别克斯坦NER的全面数据集,对语言学和机器学习研究有价值.
- 两个功能算法能够识别乌兹别克文本中的命名实体.
- 将数据集和算法应用到乌兹别克语语言的证明.
结论:
- 开发的数据集和算法对乌兹别克斯坦NLP能力作出了重大贡献.
- 该方法可以适应其他低资源语言的NER任务,例如Karakalpak.
- 这些资源可以为乌兹别克斯坦开发高级应用程序,如聊天机器人和文本挖掘工具.
