Navegando el desequilibrio extremo de clases en la predicción del riesgo de suicidio

Área de la Ciencia:

• Salud Pública
• Ciencia de Datos
• Informática Clínica

Sus antecedentes:

• Los modelos de riesgo de suicidio enfrentan desafíos de implementación debido a discrepancias entre el desarrollo y las condiciones del mundo real.
• Los umbrales de clasificación arbitrarios limitan la interpretabilidad de los modelos predictivos y sus estadísticas de rendimiento.
• Comprender cómo el desequilibrio de clases afecta el rendimiento del modelo predictivo es crucial para una evaluación precisa del riesgo de suicidio.

Objetivo del estudio:

• Explorar el impacto de la variación de las proporciones de desequilibrio de clases en el rendimiento de los modelos de predicción del riesgo de suicidio basados en regresión.
• Investigar cómo la composición de la muestra de entrenamiento, los horizontes temporales y las características del paciente influyen en el rendimiento del modelo.
• Mejorar la interpretabilidad y la confiabilidad de los modelos de predicción del riesgo de suicidio.

Principales métodos:

• Se utilizó un gran conjunto de datos de 1 649 577 pacientes del Depósito de Datos de Suicidio de Maryland (MSDW) que abarca de 2016 a 2020.
• Se empleó un marco de validación cruzada para evaluar el rendimiento del modelo, estratificando por fuentes de datos (MHCC, HSCRC).
• Se analizó la asociación entre el desequilibrio de clases, los horizontes temporales, las características del paciente (edad, utilización de la atención, necesidades sociales) y las métricas de rendimiento del modelo (AUROC, AUPRC).

Principales resultados:

• El área bajo la curva característica operativa del receptor (AUROC) no varió consistentemente con el desequilibrio de la muestra de entrenamiento o el horizonte temporal.
• El área bajo la curva de precisión-recuperación (AUPRC) mostró una asociación directa con el desequilibrio de la muestra y el horizonte temporal, aumentando con un mayor desequilibrio.
• Los análisis estratificados revelaron que el AUPRC mejoró significativamente para cohortes específicas de pacientes, como aquellos vistos en salas de emergencia, entornos de hospitalización o con necesidades sociales documentadas, mientras que el rendimiento empeoró para pacientes menores de 18 años.

Conclusiones:

• Los modelos de regresión para la predicción del riesgo de suicidio demuestran un AUPRC mejorado cuando se desarrollan con condiciones más realistas, incluido el desequilibrio de clases y horizontes temporales menos restrictivos.
• El entrenamiento de modelos en cohortes clínicas específicas (definidas por edad, utilización de la atención, necesidades sociales) puede conducir a estimaciones de precisión y recuperación significativamente diferentes, pero no a AUROC.
• Ajustar los parámetros de desarrollo del modelo en función de las características de los datos del mundo real es esencial para una predicción del riesgo de suicidio sólida e interpretable.