一种自动化的方法来识别低资源语言中的刺言论

科学领域:

• 自然语言处理 (NLP) 是一种自然语言处理.
• 计算语言学 计算语言学
• 机器学习 (ML) 是指机器学习.

背景情况:

• 刺言论检测研究主要以英语进行,对乌尔都语等低资源语言的探索有限.
• 为乌尔都语开发有效的刺言论检测是具有挑战性的,因为注释数据集的稀缺性和独特的语言细微差别.

研究的目的:

• 调查各种机器学习算法的有效性,以检测乌尔都语中的刺言论.
• 通过策划和发布乌尔都语刺推文 (UST) 数据集来应对数据稀缺的挑战.
• 为未来研究低资源语言刺言论检测建立基准.

主要方法:

• 整理并发布了来自用户生成的社交媒体评论的乌尔都语刺推文 (UST) 数据集.
• 评估了基线机器学习分类器,包括支持矢量机 (SVM),决策树 (DT),K-最近邻居 (K-NN),线性回归 (LR),随机森林 (RF),天真贝耶斯 (NB) 和XGBoost.
• 在新创建的UST数据集和Tanz-Indicator数据集上验证了模型性能.

主要成果:

• 支持矢量机 (SVM) 分类器表现出卓越的性能,达到0.85.5的准确性.
• 在不同的实验配置中,SVM 始终优于其他评估的机器学习模型.
• 该研究证实了将ML技术应用于乌尔都语刺检测的可行性.

结论:

• 机器学习模型,特别是SVM,对乌尔都语刺言论的检测非常有效.
• 考虑到特定语言特征的定制方法对于低资源语言至关重要.
• 发布UST数据集有助于在该领域进行进一步的研究和开发.