La importancia de elegir una estrategia de validación adecuada en modelos predictivos. Parte 2: Recetas para (evitar)...

Área de la Ciencia:

• Aprendizaje automático
• Modelado predictivo
• Ciencia de datos

Sus antecedentes:

• El sobreajuste es un desafío significativo en el modelado predictivo, lo que lleva a una mala generalización.
• A menudo se atribuye erróneamente únicamente a la complejidad del modelo, ocultando otros problemas críticos.

Objetivo del estudio:

• Identificar las causas pasadas por alto del sobreajuste más allá de la complejidad del modelo.
• Proporcionar pautas prácticas para una validación robusta y modelos predictivos confiables.

Principales métodos:

• Análisis de prácticas comunes que contribuyen al sobreajuste.
• Examen de la fuga de datos y la selección sesgada de modelos.
• Revisión de las presiones de publicación que conducen a la sobreoptimización.

Principales resultados:

• Las estrategias de validación inadecuadas son un impulsor principal del sobreajuste.
• Los defectos en el preprocesamiento de datos y la selección sesgada inflan la precisión aparente.
• Los incentivos de publicación pueden fomentar la sobreoptimización impulsada por los resultados.

Conclusiones:

• Abordar los sesgos de validación, preprocesamiento y selección es crucial para modelos confiables.
• Los investigadores necesitan pautas prácticas para garantizar la confiabilidad y generalizabilidad del modelo.
• Este trabajo proporciona un plano para el modelado predictivo reproducible y robusto.