Benchmarking de modelos comunitarios de predicción de respuesta a fármacos: conjuntos de datos, modelos, herramientas...

Área de la Ciencia:

• Biología computacional
• Farmacogenómica
• Aprendizaje automático en el descubrimiento de fármacos

Sus antecedentes:

• Los modelos de aprendizaje profundo y de aprendizaje automático muestran potencial para la predicción de respuesta a fármacos (DRP).
• Sin embargo, su capacidad para generalizar entre diferentes conjuntos de datos no está bien establecida, lo que limita la aplicabilidad en el mundo real.
• Las evaluaciones actuales carecen de enfoques estandarizados, lo que dificulta la comparación fiable de modelos.

Objetivo del estudio:

• Introducir un marco de benchmarking estandarizado para evaluar la generalización entre conjuntos de datos en modelos DRP.
• Desarrollar métricas de evaluación novedosas para evaluar el rendimiento absoluto y relativo del modelo entre conjuntos de datos.
• Proporcionar una base para el desarrollo y la comparación robustos de modelos DRP.

Principales métodos:

• Se utilizaron cinco conjuntos de datos de cribado de fármacos disponibles públicamente y siete modelos DRP estandarizados.
• Se desarrolló un flujo de trabajo escalable para la evaluación sistemática entre conjuntos de datos.
• Se introdujeron métricas para cuantificar el rendimiento absoluto y la caída del rendimiento en datos no vistos.

Principales resultados:

• Se observaron caídas significativas en el rendimiento cuando los modelos DRP se probaron en conjuntos de datos diferentes de sus datos de entrenamiento.
• Ningún modelo superó consistentemente a los demás en todas las evaluaciones entre conjuntos de datos.
• El conjunto de datos CTRPv2 surgió como el más efectivo para entrenar modelos DRP, lo que condujo a una mejor generalización.

Conclusiones:

• La evaluación rigurosa de la generalización entre conjuntos de datos es crucial para los modelos DRP.
• Es esencial un marco estandarizado para la evaluación y comparación fiables de los modelos DRP.
• Se necesita un mayor desarrollo para crear modelos DRP con una aplicabilidad robusta en el mundo real.