在低资源语言中检测攻击性语言:波斯语语言的用例

科学领域:

• 计算语言学 计算语言学
• 自然语言处理自然语言处理.
• 社交媒体分析 社交媒体分析

背景情况:

• 滥用内容,包括仇恨言论和冒犯性语言,在社交媒体平台上普遍存在.
• 检测冒犯性语言是具有挑战性的,特别是在低资源语言中,因为注释数据有限.
• 现有的研究主要集中在像英语这样的高资源语言上,忽视了其他语言.

研究的目的:

• 为了解决缺乏资源的攻击性语言检测在波斯语,一个低资源的语言.
• 从社交媒体创建和注释一本新的波斯攻击性语言库.
• 开发和评估用于检测波斯攻击性语言的机器学习和深度学习模型.

主要方法:

• 创建了一个由6,000个波斯微博帖子组成的新群体,并对攻击性语言及其目标进行注释.
• 使用经典机器学习 (ML),深度学习 (DL) 和基于变压器的模型 (例如,ParsBERT) 进行了实验.
• 通过整合多个模型来提高检测性能,提出了一个合体模型.

主要成果:

• 使用n-gram和ParsBERT模型的支持向量机 (SVM) 在初始单模型评估中表现强.
• 拟议的堆叠组合模型显著优于单个模型的性能.
• 整体模型在三个注释级别 (进攻性与非进攻性,有针对性与非有针对性,个人与群体) 中实现了5%的宏观F1得分改善.

结论:

• 开发的波斯攻击性语言群体是低资源语言NLP研究的宝贵资源.
• 组合方法可以有效地提高攻击性语言检测系统的性能.
• 这些发现有助于减轻波斯语社交媒体社区在线伤害.