AUPRC: una métrica para evaluar el rendimiento de los métodos de perturbación in silico en la identificación de genes...

Área de la Ciencia:

• Biología computacional
• Biología de los sistemas
• La genómica

Sus antecedentes:

• Los modelos de perturbación en silicio predicen las respuestas celulares a los cambios biológicos.
• Las métricas de evaluación actuales como R-cuadrado evalúan la precisión general pero no los resultados biológicos específicos.
• La identificación de genes expresados diferencialmente (DE) es crucial para comprender las respuestas celulares.

Objetivo del estudio:

• Introducir un nuevo marco de evaluación para los modelos de perturbación in silico.
• Evaluar la precisión y el recuerdo de las predicciones de genes expresados diferencialmente utilizando la métrica AUPRC.
• Modelos computacionales de referencia en conjuntos de datos de una sola célula y pseudo-abultados.

Principales métodos:

• Desarrolló un nuevo marco de evaluación que incorpora la métrica del área bajo la curva de precisión-recall (AUPRC).
• Aplicó el marco para evaluar varios modelos de perturbación in silico.
• Se utilizaron conjuntos de datos experimentales de una sola célula y pseudoabundantes para la evaluación comparativa.

Principales resultados:

• Existe una discrepancia significativa entre las métricas de rendimiento R-cuadrado y AUPRC.
• Los modelos con altos valores de R-cuadrado a menudo exhiben un AUPRC bajo, lo que indica una identificación pobre del gen DE.
• El nuevo marco reveló limitaciones en la capacidad de los modelos actuales para predecir cambios de expresión génica biológicamente relevantes.

Conclusiones:

• Las métricas tradicionales como R-cuadrado son insuficientes para evaluar los modelos de perturbación in silico.
• La métrica AUPRC proporciona una evaluación más biológicamente relevante del rendimiento del modelo.
• Este marco mejora la fiabilidad y aplicabilidad de los modelos computacionales en los estudios de perturbación.