BERT2DAb:基于氨基酸序列和二维结构的抗体表示预训练模型

科学领域:

• 计算生物学 计算生物学
• 免疫学 免疫学 免疫学
• 生物信息学是一种生物信息学.

背景情况:

• 大量的抗体序列数据集使预训练的语言模型能够进行抗体查和优化.
• 与一般蛋白质相比,对于抗体序列存在的预训练模型较少.
• 现有的模型缺乏明确的二次结构特征集成.

研究的目的:

• 介绍BERT2DAb,一种用于抗体序列的新型预训练语言模型.
• 使用自我注意机制将二次结构信息纳入.
• 改善抗体序列表示和下游任务性能.

主要方法:

• 开发了BERT2DAb,这是一个预训练模型,利用自我注意力进行二级结构集成.
• 对抗原-抗体结合分类任务的评估模型性能.
• 对抗原-抗体复合物突变结合自由能量预测的评估模型.
• 提出了一种分析注意力权重和三级结构接触状态以解释性的方法.

主要成果:

• 在三个下游任务中实现了最先进的性能.
• 在具有约束力的分类中证明了高精度 (85.15%/94.86%) 和回忆 (87.41%/86.15%).
• 获得了高的皮尔森相关系数 (0.77) 绑定自由能量预测.
• 通过新的注意力重量分析,增强了模型的解释性.

结论:

• BERT2DAb有效地利用二次结构信息进行抗体序列表示.
• 该模型显示了促进抗体查和设计的巨大潜力.
• 改进的解释性为对抗体与蛋白质相互作用提供了更深入的见解.