相关实验视频
Updated: May 26, 2025

Testing Tactile Masking between the Forearms
Published on: February 10, 2016
面具背后:在变压器模型中的随机和选择性掩盖,应用于专门的社会科学文本
Joan C Timoneda1, Sebastián Vallejo Vera2
1Department of Political Science, Purdue University, West Lafayette, Indiana, United States of America.
具有更高掩盖率的掩盖语言建模 (MLM),特别是40%,可以提高特定类别的BERT和RoBERTa分类器性能. 这项研究探讨了假新闻检测的最佳掩护策略.
科学领域:
- 自然语言处理自然语言处理.
- 计算社会科学 计算社会科学
- 机器学习 机器学习
背景情况:
- 像BERT和RoBERTa这样的变压器模型在社会科学中广泛用于监督的文本分类.
- 伪装语言建模 (MLM) 是一种预训练技术,用于提高模型性能.
- 标准的MLM掩盖率为15%,对改变这一率或选择性掩盖的研究有限.
研究的目的:
- 研究不同随机和选择性掩盖率对变压器模型性能的影响.
- 为了确定特定的掩盖策略是否提高了专门的文本分类任务的准确性,例如假新闻检测.
主要方法:
- 使用掩盖语言建模 (MLM) 的BERT和RoBERTa模型的进一步培训.
- 随机和选择性掩盖率为15%,25%,40%,60%和80%的实验.
- 应用模型来分类与冠状病毒大流行相关的假新闻.
主要成果:
- 40%的掩盖率 (随机和选择性) 证明了类别内性能的提高.
- 总的来说,分类器的性能显示不同掩盖率的影响很小.
- 在所有测试率中,选择性掩盖并未始终超过随机掩盖.
结论:
- 该研究表明,当专注于特定类别时,40%的掩盖率对基于变压器的分类器可能是有益的.
- 这些发现对使用BERT和RoBERTa进行专门的文本分类任务的研究人员具有实际意义.
- 对不同应用的最佳掩盖策略进行进一步的研究是有必要的.
更多相关视频
06:42Continuous Theta Burst Stimulation of the Posterior Medial Frontal Cortex to Experimentally Reduce Ideological Threat Responses
Published on: September 28, 2018
06:05Employing Transcranial Magnetic Stimulation in a Resource Limited Environment to Establish Brain-Behavior Relationships
Published on: April 20, 2022
相关概念视频
Modeling in Therapy
Participant Modeling
Participant modeling involves therapists demonstrating calm and effective behaviors in...
Strategies for Assessing and Addressing Confounding
Confounding can be addressed at both the design phase of a study and through analytical methods after data...
Censoring Survival Data
Transformers with Off-Nominal Turns Ratios
Framing Effects