Hacia QSAR más confiables: Una discusión sistemática sobre la partición de conjuntos de datos

Área de la Ciencia:

• Modelado de Relaciones Cuantitativas Estructura-Actividad (QSAR); quimioinformática; química computacional

Sus antecedentes:

• El desarrollo de modelos QSAR está aumentando rápidamente.
• Existen preocupaciones sobre el rigor de la evaluación de modelos QSAR, especialmente en lo que respecta a las estrategias de división de datos.
• La influencia de la partición de datos en la generalización del modelo necesita una investigación sistemática.

Objetivo del estudio:

• Evaluar sistemáticamente el impacto de las divisiones aleatorias (RS), las divisiones basadas en la similitud (SS) y la variabilidad de las semillas aleatorias en la generalización de los modelos QSAR.
• Evaluar estos efectos en escenarios con datos limitados (cribado químico) y datos abundantes (modelado estándar).
• Desafiar la suposición de que las divisiones racionales que optimizan el rendimiento interno mejoran universalmente el rendimiento del modelo.

Principales métodos:

• Se utilizaron cinco conjuntos de datos de diferentes tamaños.
• Se compararon divisiones aleatorias (RS) y divisiones basadas en la similitud (SS).
• Se investigó el efecto de la variabilidad de las semillas aleatorias en el rendimiento del modelo.

Principales resultados:

• Tanto el método de partición de datos como la selección de la semilla aleatoria afectan sustancialmente el rendimiento de las pruebas internas, lo que podría tergiversar la capacidad predictiva real.
• Las divisiones basadas en la similitud (SS) pueden mejorar el rendimiento interno, pero no siempre la generalización externa.
• En proporciones de muestreo bajas, SS puede tener un rendimiento inferior a las divisiones aleatorias (RS) tanto en pruebas internas como externas.
• Se observó una alta variabilidad en R-cuadrado entre las semillas aleatorias para las pruebas internas en el conjunto de datos más pequeño, en contraste con una menor variabilidad en un conjunto de datos externo fijo.
• El filtrado del dominio de aplicabilidad (AD) no redujo consistentemente la variabilidad en el conjunto de datos externo.

Conclusiones:

• La construcción del conjunto de prueba debe alinearse con los escenarios de aplicación del mundo real para los modelos QSAR.
• Los investigadores deben evitar semillas aleatorias únicas o seleccionadas y métodos de partición racional inadecuados.
• Los protocolos de partición transparentes y alineados con la aplicación, y los métodos de AD son esenciales para priorizar la generalización externa real sobre las métricas internas potencialmente infladas.