使用深度神经网络和控制模型预测化合物强度预测的预测准确度和不确定性之间的关系
Jannik P Roth1, Jürgen Bajorath2
1Department of Life Science Informatics and Data Science, B-IT, LIMES Program Unit Chemical Biology and Medicinal Chemistry, Rheinische Friedrich-Wilhelms-Universität, Friedrich-Hirzebruch-Allee 5/6, 53115, Bonn, Germany.
在分子机器学习中不确定性量化缺乏标准. 这项研究发现,化合物强度预测准确性和模型不确定性之间几乎没有相关性,特别是在深度神经网络中.
科学领域:
- 分子机器学习分子机器学习
- 计算化学计算化学
- 药物发现 药物发现 药物发现
背景情况:
- 评估机器学习模型需要评估预测差异或不确定性.
- 不确定性量化 (UQ) 是分子机器学习的一个新兴研究领域,没有标准化的方法.
- 开发可靠的UQ方法对于药物发现中可靠的AI至关重要.
研究的目的:
- 分析深度神经网络变体和控制模型,用于化合物效能预测.
- 研究分子机器学习中预测准确度和不确定性之间的关系.
- 识别当前UQ指标中的潜在偏见和局限性.
主要方法:
- 对各种机器学习模型 (深度神经网络,控制模型) 的比较分析.
- 在不同的模型复杂度中评估预测准确性和不确定性指标.
- 在不同的化合物强度水平和训练集修改中评估模型性能.
主要成果:
- 对于使用不同UQ指标的可比准确度的模型,观察到高度可变的预测不确定性.
- 模型预测和不确定性显示,对试验化合物的强度水平有很大的依赖.
- 深度神经网络对训练集的变化表现出不一致的反应,影响不确定性估计.
结论:
- 目前的UQ指标几乎没有与预测准确度的相关性,尤其是在深度神经网络中.
- 现有的UQ方法可能导致预测过度或不够自信,突出需要改进方法.
- 需要进一步的研究来开发分子机器学习应用程序的强大和标准化的UQ指南.
更多相关视频
06:19Integration of Animal Behavioral Assessment and Convolutional Neural Network to Study Wasabi-Alcohol Taste-Smell Interaction
Published on: August 16, 2024
06:50Author Spotlight: A Computational Approach to Decipher Amino Acid Preferences in Multispecific Protein-Protein Interactions
Published on: January 26, 2024
相关概念视频
Propagation of Uncertainty from Random Error
Uncertainty: Overview
Uncertainty in Measurement: Accuracy and Precision
Propagation of Uncertainty from Systematic Error
Mechanistic Models: Compartment Models in Individual and Population Analysis
Accuracy and Precision
