xTrimoPGLM:统一的100亿参数预训练的变压器,用于破译蛋白质的语言
Bo Chen1,2, Xingyi Cheng3, Pan Li4
1BioMap Research, Palo Alto, CA, USA. cb21@mails.tsinghua.edu.cn.
我们开发了xTrimoPGLM,这是一个大规模的蛋白质语言模型,能够理解和生成蛋白质序列. 这种统一模型在各种基准和蛋白质结构预测任务上实现了最先进的性能.
科学领域:
- 计算生物学 计算生物学
- 蛋白质科学 蛋白质科学
- 人工智能的人工智能
背景情况:
- 蛋白质语言模型 (PLM) 擅长从蛋白质序列中学习.
- 现有的PLM通常使用单独的自编码或自回归目标,限制对理解和生成任务的并发处理.
研究的目的:
- 引入xTrimoPGLM,一个统一的蛋白质语言模型,旨在同时理解和生成蛋白质序列.
- 为大规模的PLM培训探索自编码和自回归目标的联合优化.
主要方法:
- 为xTrimoPGLM开发了一个创新的预培训框架.
- 在前所未有的规模上训练模型:1000亿个参数和1万亿个令牌.
- 评估了18个蛋白质理解基准和3D结构预测的性能.
主要成果:
- 在18个蛋白质理解基准中,xTrimoPGLM显著超过现有的基线.
- 该模型在原子分辨率下实现了先进的3D蛋白质结构预测.
- 证明了de novo和可编程的蛋白质序列生成能力.
结论:
- 在蛋白质序列理解和生成方面,xTrimoPGLM表现出相当大的能力和多功能性.
- 该模型推进了蛋白质科学的基础模型领域.
- 训练重量和数据集是公开可用的.
相关概念视频
09:21Phenotypic Profiling of Human Stem Cell-Derived Midbrain Dopaminergic Neurons
10:54Reliable Identification of Living Dopaminergic Neurons in Midbrain Cultures Using RNA Sequencing and TH-promoter-driven eGFP Expression
08:45Isolation, Culture and Long-Term Maintenance of Primary Mesencephalic Dopaminergic Neurons From Embryonic Rodent Brains
09:35Environmental Modulations of the Number of Midbrain Dopamine Neurons in Adult Mice
11:58Primary Culture of Mouse Dopaminergic Neurons
09:54Comprehensive Profiling of Dopamine Regulation in Substantia Nigra and Ventral Tegmental Area


