海德拉:为参数高效微调提供多头低级调整

Sanghyeon Kim1, Hyunmo Yang2, Yunghyun Kim2

  • 1Department of Electrical and Computer Engineering, Sungkyunkwan University, 2066, Seoubu-ro, Suwon, 16419, Republic of Korea.

概括

通过结合并行和顺序的适配器分支,Hydra 增强了基础模型的适应性. 这种新的方法提高了各种下游任务的参数效率和概括性,优于现有的方法.