参数效率技术与完整微调技术的比较:关于多语言新闻文章分类的案例研究
Olesya Razuvayevskaya1, Ben Wu1, João A Leite1
1Department of Computer Science, The University of Sheffield, Sheffield, United Kingdom.
PloS one
|May 3, 2024
概括
像适配器和低级适配 (LoRA) 这样的参数高效的微调技术提供了高效的语言模型培训. 这项研究表明它们在多语言文本分类中的有效性,即使数据有限.
科学领域:
- 自然语言处理自然语言处理.
- 机器学习 机器学习
- 计算语言学 计算语言学
背景情况:
- 参数效率微调 (PEFT) 方法,包括适配器和低级适应 (LoRA),提高语言模型培训效率.
- 之前的研究表明,PEFT可以提高特定分类任务的性能.
- 本研究扩展了现有工作,通过评估PEFT对分类性能的影响和与完整微调相比的计算成本.
研究的目的:
- 调查适配器和LoRA对多语言文本分类性能和计算成本的影响.
- 分析PEFT在各种多语言文本分类任务中的有效性,包括类型,框架和说服检测.
- 评估PEFT在不同培训场景 (原始多语言数据,英语翻译,仅英语子集) 和跨语言的表现,特别是对于培训数据有限的任务.
主要方法:
- 对参数效率微调 (PEFT) 技术 (适配器,LoRA) 与完整微调的比较分析.
- 对具有不同输入长度,类号和难度等级的多语言文本分类任务的评估.
- 在不同培训数据配置和语言中对PEFT性能进行深入分析.
主要成果:
- 具有参数效率的微调技术在多语言文本分类中展示了竞争力的性能和效率.
- 结果强调了PEFT在多标签分类和非并行多语言任务中的适用性.
- 根据培训数据场景和特定语言,效率有所不同,提供了细微的见解.
结论:
- 适配器和LoRA是许多多语言文本分类场景的完整微调的可行和高效替代方案.
- 这些技术对于涉及不同输入长度和有限数据的任务特别有用.
- 该研究提供了关于在多种多语言NLP研究和应用中应用PEFT的实际指导.
