一种复杂的网络方法来分析古代中国的预训练语言模型.
1Department of Chinese Language and Literature, Tsinghua University, Beijing 100084, People's Republic of China.
Royal Society open science
|July 30, 2024
概括
这项研究使用复杂的网络来分析语言模型如何组织古代中国元素. 研究结果显示,注意力网络与共发生网络有相似之处,并表现出特定的结构性质.
科学领域:
- 计算语言学 计算语言学
- 数字人文学科 数字人文学科
- 网络科学 网络科学
背景情况:
- 预先训练好的语言模型对于古代中国人编译至关重要.
- 之前的研究还没有全面检查古代中国元素的语言模型组织.
- 复杂的网络分析为这项调查提供了新的视角.
研究的目的:
- 探索语言模型如何利用复杂的网络组织古代中国系统中的元素.
- 分析字符和单词并发和注意力网络的结构性质.
- 将SikuBERT产生的注意力网络与中国BERT产生的注意力网络进行比较.
主要方法:
- 在古代中文中分析字符和单词共同出现的网络.
- 通过SikuBERT生成的注意力网络的静态和动态网络分析.
- 关注网络属性的比较与并发网络和中国的BERT.
主要成果:
- 注意网络表现出小世界和无尺度的属性.
- 超过80%的注意力网络与共同发生网络非常相似.
- SikuBERT的注意力网络比中国的BERT少,有明显的字符词网络差距.
- 句子细分对网络指标的影响最小,而POS标记则使网络变得稀疏.
结论:
- 复杂的网络分析有效地揭示了古代中国语言模型的组织原则.
- SikuBERT中的注意力机制捕获了重要的语言关系,反映了共同发生的模式.
- 特定任务的微调 (例如,POS标签) 影响了注意力网络的稀疏性.
