通过提示和LoRA微调调用BLOOMZ-3b调查印第安语的翻译
Aarathi Rajagopalan Nair1, Deepa Gupta2, B Premjith3
1Department of Computer Science and Engineering, Amrita School of Computing, Amrita Vishwa Vidyapeetham, Bengaluru, India.
Scientific reports
|October 15, 2024
概括
大型语言模型和生成人工智能正在改变机器翻译,尤其是英语到印第安语的翻译. 这项研究优化了BLOOMZ-3b模型,使用提示和低等级适应来提高性能.
科学领域:
- 自然语言处理自然语言处理.
- 人工智能的人工智能
- 机器翻译 机器翻译
背景情况:
- 大型语言模型 (LLM) 和生成AI的出现意味着自然语言处理 (NLP) 的范式转变.
- 这些先进的模型使机器能够理解和生成类似人类的文本,影响各种NLP应用.
- 机器翻译 (MT) 是从这些进步中受益的一个关键领域.
研究的目的:
- 调查LLM对机器翻译的影响,特别是英语和印度语言 (印度语,坎纳达语,马来拉语,泰米尔语,泰鲁古语) 之间的影响.
- 使用BLOOMZ-3b模型探索和应用MT的各种提示工程技术.
- 通过微调BLOOMZ-3b以参数高效微调 (PEFT) 技术,如低级调整 (LoRA) 来降低计算复杂性.
主要方法:
- 在英语-印度语翻译任务中使用了BLOOMZ-3b大型语言模型.
- 采用了针对机器翻译量身定制的多种提示工程策略.
- 应用低级调整 (LoRA),一个参数高效的微调方法,以优化BLOOMZ-3b模型.
主要成果:
- 用BLOOMZ-3b进行英语-印度语翻译,证明了创新的提示技术的有效性.
- 通过对BLOOMZ-3b模型的LoRA微调成功降低了计算复杂性.
- 展示了LLM在传统MT系统之外的多种语言对的适应性.
结论:
- 像LoRA这样的高级提示和PEFT技术的结合显著提高了机器翻译中的LLM能力.
- 这项研究为优化和适应各种语言的LLM提供了一个框架,推进AI和NLP.
- 该研究强调了LLMs在语言处理和翻译方面克服传统限制的潜力.
