PTM-Mamba:一种 PTM-Aware 蛋白语言模型,具有双向门的 Mamba 块

科学领域:

• * 计算生物学和生物信息学.
• * 蛋白质结构和功能分析.
• * 在基因组学和蛋白质组学中的机器学习.

背景情况:

• * 蛋白质执行重要的细胞功能,后翻译修饰 (PTMs) 显著影响其多样性和调节.
• * 像ESM-2和ProtT5这样的现有蛋白质语言模型 (pLM) 缺乏处理或解释PTM的能力,限制了它们的范围.
• * 蛋白质组的多样性很大,目前在有限的序列数据上训练的pLM无法捕捉出蛋白质变异的全部光谱,特别是来自PTM的变异.

研究的目的:

• * 开发第一个能够单独输入和表示后翻译修改 (PTM) 蛋白序列的蛋白质语言模型.
• *通过整合PTM信息来增强蛋白序列的建模,解决目前的pLM中的一个关键缺口.
• * 创建一个PTM意识模型,以促进蛋白质设计和分析的下游应用.

主要方法:

• * 将一套全面的翻译后修改 (PTM) 代币集成到蛋白质语言模型词汇中.
• *利用结构化状态空间模型 (SSM),特别是Mamba,进行高效的序列建模.
• * 双向Mamba块与ESM-2嵌入器的融合,使用一种新的门机制来创建PTM-Mamba模型.

主要成果:

• * 开发的PTM意识的pLM,PTM-Mamba,与最新的ESM-2相比,在PTM特定任务上表现得更好.
• * PTM-Mamba成功输入并代表了野生类型和含有PTM的蛋白质序列.
• * 该模型独特处理PTM的能力为下游建模和改造蛋白质的设计开辟了新的途径.

结论:

• * PTM-Mamba 代表了蛋白质语言建模的重大进步,因为它独特地结合了翻译后修改.
• * 该模型的PTM意识增强了蛋白质序列的准确表示,这对于理解生物过程至关重要.
• * PTM-Mamba 准备在计算生物学领域推动创新,为改造蛋白质提供新的应用.