将蛋白质语言模型扩展到病毒基因组尺度,使用生物学诱导的稀疏注意力
bioRxiv : the preprint server for biology
|June 12, 2025
概括
我们开发了一种新的蛋白质语言模型,可以分析整个病毒基因组,捕捉远程相互作用. 与单一蛋白质模型相比,这种全基因组的方法显著改善了蛋白质序列分析.
科学领域:
- 基因组学就是基因组学.
- 深度学习 (Deep Learning) 是一种深度学习.
- 生物信息学是一种生物信息学.
背景情况:
- 变压器模型具有先进的蛋白质序列分析.
- 当前的蛋白质语言模型通常分析单个蛋白质,忽视基因组上下文.
- 蛋白质与蛋白质的相互作用至关重要,并且跨越了基因组区域.
研究的目的:
- 开发一种新的蛋白质语言模型,在整个病毒基因组中扩展上下文大小.
- 为了捕捉长距离的蛋白间相互作用,并整合来自基因组内的遥远蛋白质的信息.
- 通过考虑基因组背景来改进蛋白质序列分析.
主要方法:
- 提出了一种新的方法,将变压器模型的上下文大小扩展到整个病毒基因组.
- 采用基于蛋白质与蛋白质相互作用的稀疏注意力机制.
- 采用半监督的方法对最多61,000个氨基酸的序列进行训练.
主要成果:
- 全基因组的蛋白质语言模型捕捉了长距离的蛋白质间相互作用.
- 生成的嵌入显著超过单蛋白模型的嵌入.
- 性能优于其他大型上下文架构和非转换器框架.
结论:
- 在整个病毒基因组上训练蛋白质语言模型对于捕获蛋白质间依赖性是有效的.
- 拟议的长文本模型为各种蛋白质分析任务提供了实质性的好处.
- 这种全基因组学习方法解决了单蛋白分析的局限性.
相关概念视频
Leaky Scanning
5.1K
During most eukaryotic translation processes, the small 40S ribosome subunit scans an mRNA from its 5' end until it encounters the first start AUG codon. The large 60S ribosomal subunit then joins the smaller one to initiate protein synthesis. The location of the translation initiation is largely determined by the nucleotides near the start codon as there may be multiple translation initiation sites present on the mRNA. Marilyn Kozak discovered that the sequence RCCAUGG (where R...
5.1K
Initiation of Translation
31.7K
Initiating translation is complex because it involves multiple molecules. Initiator tRNA, ribosomal subunits, and eukaryotic initiation factors (eIFs) are all required to assemble on the initiation codon of mRNA. This process consists of several steps that are mediated by different eIFs.
First, the initiator tRNA must be selected from the pool of elongator tRNAs by eukaryotic initiation factor 2 (eIF2). The initiator tRNA (Met-tRNAi) has conserved sequence elements including modified bases at...
First, the initiator tRNA must be selected from the pool of elongator tRNAs by eukaryotic initiation factor 2 (eIF2). The initiator tRNA (Met-tRNAi) has conserved sequence elements including modified bases at...
31.7K


