Mamba,

Xiaocui Zhu1, Qunsheng Ruan2, Sai Qian3

  • 1Jiangxi Academy Sciences, Institute of Energy, Nanchang, 330029, Jiangxi, China. zhuxiaocui@jxas.ac.cn.

Scientific reports
|April 3, 2025
PubMed
概括

本研究介绍了一种新的混合模型,将变压器编码器和Mamba解码器结合起来,用于高级语言建模. 新方法整合了特征融合,在各种语言任务中实现了竞争性结果并超越了基准.