基于机器学习的框架,用于细粒度的单词细分和增强的文本规范化,用于低资源语言

科学领域:

• 计算语言学 计算语言学
• 自然语言处理自然语言处理.
• 乌尔都语语言技术

背景情况:

• 文本预处理,包括规范化和令牌化,对于有效的自然语言处理 (NLP) 是至关重要的.
• 现有的NLP工具经常忽视第十大最常说的语言,乌尔都语,尽管它具有全球意义.
• 对于乌尔都语,需要专门和改进的预处理技术.

研究的目的:

• 为乌尔都语开发和介绍增强的文本规范化技术.
• 引入专门为乌尔都文本设计的改进的词代币化方法.
• 解决NLP社区内乌尔都语预处理方面的研究缺口.

主要方法:

• 乌尔都文本规范化使用正则表达式和基于规则的系统的组合,包括字符规范化和数字分离.
• 乌尔都语单词代币化采用机器学习模型与手工制作的功能来预测单词边界.
• 创建了最大的人类注释的乌尔都语数据集,跨越五个不同的领域,用于模型培训和评估.

主要成果:

• 拟议的规范化方法在乌尔都文本预处理中实现了20%的改进.
• 开发的代币化方法导致乌尔都语单词细分率提高6%.
• 包括精度,回忆,F测量和准确性在内的评估指标证明了与最先进的方法相比,拟议的技术的有效性.

结论:

• 实施的文本规范化和令牌化技术为乌尔都语语言处理提供了显著的进步.
• 这些方法提高了涉及乌尔都文本的自然语言处理任务的准确性和效率.
• 该研究为乌尔都语NLP提供了宝贵的资源和方法,为未来的研究和应用铺平了道路.