使用Twitter收集阿尔巴尼亚语的多方言语库,使用先进的地理标记和方言建模
Ercan Canhasi1, Rexhep Shijaku1
1Faculty of Computer Science, University of Prizren, Prizren, Kosova.
PloS one
|November 27, 2023
概括
这项研究从推特数据创建了一个地理信息的阿尔巴尼亚国家群体. 机器学习模型准确地识别了阿尔巴尼亚方言,超过了人类注释者,并揭示了新的语言模式.
科学领域:
- 计算语言学 计算语言学
- 社会语言学 社会语言学
- 自然语言处理自然语言处理.
背景情况:
- 对于语言学研究来说,需要一个全面的,地理上参考的阿尔巴尼亚国家语料库是非常重要的.
- 现有的资源缺乏足够的方言和地理代表性,特别是来自社交媒体.
- 推特数据为捕捉当代语言使用提供了丰富的,尽管具有挑战性的来源.
研究的目的:
- 使用Twitter数据开发和分类一个地理信息齐全的,多方言的阿尔巴尼亚民族群体.
- 评估自动化方法的有效性,包括地理标记和机器学习,在语料库创建和方言识别中.
- 在方言分类中,将机器学习模型与人类注释者的性能进行比较.
主要方法:
- 从Twitter上自动抓取和提取数据,通过可辨认的位置和方言使用来识别用户.
- 应用先进的地理标记技术,以有效地生成数据库.
- 实验各种机器学习分类方法,包括特征工程和选择.
- 人类注释者的主观评价用于比较分析.
主要成果:
- 成功组装了一个公开可用的,阿尔巴尼亚推特的匿名数据集,带有方言注释.
- 机器学习模型在准确区分阿尔巴尼亚方言与个人推文方面表现出高水平,超过了人类的准确性.
- 确定了以前在科学文献中未被承认的新型方言模式.
结论:
- 机器学习为使用社交媒体数据在阿尔巴尼亚语中识别方言提供了一种强大而准确的方法.
- 开发的语料库为未来对阿尔巴尼亚方言的语言研究提供了宝贵的资源.
- 自动化方法显著提高了方言库创建的效率和准确性.
更多相关视频
相关概念视频
00:56Extraction: Advanced Methods
Metal ions can be separated from one another by complexation with organic ligands–the chelating agent– to form uncharged chelates. Here, the chelating agent must contain hydrophobic groups and behave as a weak acid, losing a proton to bind with the metal. Since most organic ligands used in this process are insoluble or undergo oxidation in the aqueous phase, the chelating agent is initially added to the organic phase and extracted into the aqueous phase. The metal-ligand complex is formed in...
01:14Impression Management Techniques IV: Altercasting
Altercasting is a strategic communication technique in which an individual imposes a specific identity or social role onto another person to influence their behavior and shape the interaction. By presuming a role—such as “responsible leader” or “patient person”—altercasting encourages the target to conform to that identity, often aligning their behavior with the expectations associated with the role. The power of this tactic lies in its subtlety; once a role is assigned, it becomes socially...