一个双注释的马来语-英语代码交换 (Manglish) 数据集,用于生物性别识别和作者归因的X帖子

科学领域:

• 计算语言学 计算语言学
• 社会语言学 社会语言学
• 自然语言处理 (NLP) 是一种自然语言处理.

背景情况:

• 由于语言资源稀缺,像马来语这样的低资源语言面临灭绝的风险.
• 语言代码交换在全球范围内随着社交媒体的使用而增加,例如Spanglish和Chinglish等现象.
• 具体的马来语-英语代码交换现象被称为Manglish,在马来西亚,印度尼西亚,文莱和新加坡普遍存在.

研究的目的:

• 通过创建一个独特的,双注释的文本库来解决马来语资源的稀缺问题.
• 提升马来语的地位,并促进其从低资源语言类别过渡.
• 为网络欺凌,性别偏见和有针对性的产品建议等领域的研究提供一个有价值的数据集.

主要方法:

• 使用Twitter API收集了来自马来西亚50位公众人物的709,012个原始X (以前的Twitter) 帖子.
• 该数据集进行了预处理,最终产生了650,409个职位.
• 帖子以二元生物性别和匿名作者身份进行了双注释,最初的性别分布几乎是平等的.

主要成果:

• 预处理数据集包含650,409个职位,后处理性别分布为56.88%的生物女性和43.12%的生物男性.
• 语料库提供灵活性,可以使用性别注释或它们的组合.
• 这一数据集是培训或增强语语言转换器的宝贵资源.

结论:

• 这本双注释的曼格利什语语库对低资源语言NLP领域做出了重大贡献.
• 该数据集支持对马来语-英语代码交换,性别偏见和网络欺凌的研究.
• 该资源旨在加强马来语,并推进相关领域的NLP研究.