一个增强的BERT模型,改进了局部特征提取和长距离依赖性捕获,用于听力损失的促进者预测

科学领域:

• 基因组学就是基因组学.
• 生物信息学是一种生物信息学.
• 计算生物学 计算生物学

背景情况:

• 促进者预测对于理解基因调节和开发治疗诸如听力损失 (HL) 等疾病至关重要.
• 传统的双向编码器从变压器 (BERT) 模型中的表示,都难以同时捕获本地和远程基因组序列特征.

研究的目的:

• 提出DNABERT-CBL,一种基于BERT的增强架构,集成卷积神经网络 (CNN) 和双向长短期记忆 (BiLSTM),以改进促进器预测.
• 增强对基因组数据中局部监管特征和远距离依赖性的捕获.

主要方法:

• 通过在BERT框架内将CNN用于局部特征提取和BiLSTM用于远程依赖模型的融合,开发了DNABERT-CBL.
• 使用个人学习,跨疾病培训和全球培训策略的优化模型.
• 通过与基线和其他基于BERT的最新基因组模型进行比较来验证性能.

主要成果:

• DNABERT-CBL在听力损失促进者预测的基线DNABERT-2_BASE模型上表现出卓越的性能.
• 实现了20%的损失减少,曲线下面积 (AUC) 提高了3.3%,精度增加了5.8%,在600个基数对.
• 与其他最先进的BERT基因组模型相比,在多个指标上展示了优越的概括能力.

结论:

• DNABERT-CBL为准确的促进者预测提供了一个有效的框架,整合了全球和本地序列特征.
• 提供了有关听力损失的基因调节机制的宝贵见解.
• 支持对听力损失和相关遗传疾病的基因疗法开发的进展.