Generalizabilidad ilusoria de los modelos de predicción clínica

Área de la Ciencia:

• La psiquiatría
• La informática médica
• Estadísticas biológicas

Sus antecedentes:

• Se espera que los modelos estadísticos mejoren la toma de decisiones sobre el tratamiento médico.
• El desarrollo de modelos a menudo se basa en conjuntos de datos limitados o contextos clínicos debido a los costos y la escasez de datos.
• Esta dependencia plantea preguntas sobre la generalización de los modelos predictivos en el cuidado de la salud.

Objetivo del estudio:

• Examinar el optimismo que rodea a los modelos estadísticos en la toma de decisiones médicas.
• Examinar el rendimiento de un modelo de aprendizaje automático en ensayos clínicos independientes para la esquizofrenia.
• Evaluar la generalización de modelos predictivos para los resultados de la medicación antipsicótica.

Principales métodos:

• Se desarrolló un modelo de aprendizaje automático utilizando datos de un ensayo clínico para la esquizofrenia.
• La precisión predictiva del modelo se probó en datos fuera de la muestra de ensayos clínicos independientes.
• Se exploró la agrupación de datos entre ensayos para mejorar el rendimiento de la predicción fuera de la muestra.

Principales resultados:

• El modelo de aprendizaje automático logró una alta precisión dentro del conjunto de datos en el que se desarrolló.
• El modelo no funcionó mejor que el azar cuando se aplicó a ensayos clínicos independientes fuera de la muestra.
• La agrupación de datos en ensayos no mejoró el rendimiento predictivo del modelo en datos no vistos.

Conclusiones:

• Los modelos de aprendizaje automático para predecir los resultados del tratamiento de la esquizofrenia son altamente dependientes del contexto.
• Estos modelos demuestran una generalización limitada en diferentes ensayos clínicos o poblaciones de pacientes.
• Los hallazgos desafían la amplia aplicabilidad de los modelos predictivos actuales en el tratamiento psiquiátrico personalizado.