TabNet和TabTransformer:与机器学习相比,用于化学毒性预测的新型深度学习模型

科学领域:

• 计算化学和毒理学计算化学和毒理学
• 机器学习在药物发现中的作用
• 生物信息学和化学信息学

背景情况:

• 准确的化学毒性预测对于药物发现,环境安全和监管合规至关重要.
• 传统的机器学习方法和特征选择技术在捕捉复杂的分子相互作用以预测毒性方面存在局限性.
• 对于评估化学品安全的强大,可解释和高效模型的需求正在增加.

研究的目的:

• 评估和比较先进的深度学习架构 (TabNet,TabTransformer) 与传统的机器学习模型的性能,以预测12个终点的化学毒性.
• 通过SHAP分析评估深度学习模型的可解释性,特别是在类不平衡条件下.
• 确定这些模型是否适合作为传统体外和体外毒性测试方法的替代品.

主要方法:

• 利用了12228个训练和3057个测试样本的数据集,使用了801个分子描述符.
• 实现了传统模型 (XGBoost,CatBoost,SVM,投票分类器) 具有特征选择 (PCA,RFE,MI).
• 直接在完整的功能集上训练有素的TabNet和TabTransformer,通过AUC-ROC,F1-score,AUPR和MCC等指标评估性能,并通过SHAP分析来补充.

主要成果:

• TabNet和TabTransformer的表现始终优于传统分类器,在SR.ARE和SR.p53.3等终点上达到高达96%的AUC-ROC.
• 由于自我注意机制,TabTransformer在复杂的标签上表现出卓越的性能,而TabNet则提供了高效的动态特征选择.
• 在SHAP分析中,确定了关键的分子描述符 (例如VSAEstate6,MoRSEE8),提高了模型的透明度和可解释性.

结论:

• TabNet和TabTransformer代表了化学毒性预测的重大进步,比传统方法提供了更高的准确性和概括性.
• 通过SHAP分析提供的可解释性,确保这些深度学习模型对监管应用具有透明度和可信度.
• 这些先进的模型为传统的体外和体外毒性评估方法提供了一个有希望的,具有成本效益的和伦理的替代方案.