基于UMAP的聚类分裂,用于对AI模型进行严格评估,用于对癌症细胞系进行虚拟查

科学领域:

• 计算化学和化学信息学
• 人工智能在药物发现中的作用
• 机器学习用于分子性质预测.

背景情况:

• 使用人工智能 (AI) 的虚拟查 (VS) 对早期药物发现至关重要.
• 有效的AI模型基准测试依赖于适当的数据分割策略.
• 随机,脚手架和布蒂纳分割等传统方法可能会因为不切实际的数据分区而高估模型性能.

研究的目的:

• 评估不同数据分割方法的有效性,用于对分子性质预测和VS中的AI模型进行基准测试.
• 为了比较传统的分割技术 (随机,支架,布蒂娜集群) 与统一的多重近似和投影 (UMAP) 集群.
• 为用于药物发现的AI模型提供更现实的评估框架.

主要方法:

• 四个数据集 (NCI-60) 用四种方法进行了分割:随机,支架,布蒂纳集群和UMAP集群.
• 四个代表性的AI模型 (线性回归,随机森林,变压器-CNN,GEM) 被训练和评估.
• 总共有8400个模型在所有数据集和分割方法中进行了训练和评估.

主要成果:

• UMAP集群为AI模型评估提供了最具挑战性和现实的基准.
• 分割方法的性能排名是UMAP > Butina > 脚手架 ≈随机.
• 该研究强调了ROC AUC与虚拟选目标的不一致性,并推了特定上下文的指标.

结论:

• 建议将UMAP集群作为分子性质预测和VS的优质数据分割方法,提供更可靠的AI模型基准测试.
• 传统的方法,如脚手架和布蒂纳分裂,可能导致过高估计的性能,应谨慎使用.
• 这些发现倡导采用UMAP分离和适当的评估指标,以推进人工智能驱动的药物发现领域.