维特罗伯特:通过在体外数据上预训练BERT来建模DILI
Muhammad Arslan Masood1,2, Anamya Ajjolli Nagaraja3, Katia Belaid3
1Johnson & Johnson, Beerse, Belgium. arslan.masood@aalto.fi.
Journal of cheminformatics
|August 7, 2025
概括
使用体外测试数据的新模型VitroBERT改善了对药物诱导性肝损伤 (DILI) 终点的预测. 权重焦点损失有效地解决了DILI预测任务中的类不平衡.
科学领域:
- 计算化学是一种计算化学.
- 毒理学 毒理学 毒理学
- 机器学习 机器学习
背景情况:
- 药物诱导性肝损伤 (DILI) 由于复杂性和数据限制而带来挑战.
- 无监督的分子表示学习往往错过了生物相互作用的洞察力.
- 现有的模型在 DILI 数据集中的严重阶级不平衡中扎.
研究的目的:
- 介绍VitroBERT,这是一个BERT模型,预先训练在体外测定数据上,用于生物知情分子嵌入.
- 评估VitroBERT在预测体内DILI终点方面的表现.
- 确定不平衡的DILI预测任务的最佳损失函数.
主要方法:
- 从变压器 (BERT) 模型 (VitroBERT) 预先训练了一种双向编码器表示,用于大规模的体外测试档案.
- 将VitroBERT嵌入与无监督预训 (MolBERT) 进行比较,用于DILI终点预测.
- 评估了各种类失衡的损失函数 (BCE,加权 BCE,焦点损失,加权焦点损失).
主要成果:
- 与MolBERT相比,VitroBERT嵌入改善了生物化学 (29%) 和组织病理学 (16%) 的DILI终点预测.
- 在临床DILI预测任务中没有观察到显著的改善.
- 在处理DILI任务的类不平衡方面,加权焦点损失表现出卓越的性能.
结论:
- 将生物背景通过体外数据整合到分子模型中,可以提高DILI预测.
- 适当的损失函数选择对于改善不平衡DILI数据集的性能至关重要.
- 在毒理学中,VitroBERT提供了一种有前途的方法,用于生物信息分子表示学习.
