La brecha de fiabilidad: Por qué una alta precisión predictiva no garantiza una importancia de características estable | JoVE Visualize

Área de la Ciencia:

Ciencias Medioambientales
Ciencia de Datos
Biología Marina

Sus antecedentes:

El aprendizaje automático (ML) y la IA explicable (XAI) se utilizan cada vez más para la evaluación de riesgos medioambientales, como el análisis de contaminantes y la intoxicación por mariscos.
Técnicas como el Análisis de Componentes Principales (PCA) y las Explicaciones Aditivas de Shapley (SHAP) son comunes, pero el PCA lineal puede fallar con datos medioambientales no lineales, y las importancias de características a menudo se tratan como verdad fundamental sin validación.

Objetivo del estudio:

Evaluar críticamente la fiabilidad de las importancias de características derivadas de modelos supervisados de ML en estudios medioambientales.
Introducir y validar métodos para evaluar la estabilidad y consistencia de las clasificaciones de características derivadas de ML.
Comparar el rendimiento y la estabilidad de los enfoques de ML supervisados frente a los no supervisados para la predicción de riesgos medioambientales.

Principales métodos:

Se utilizó un conjunto de datos de la costa vasca (8195 instancias, 14 características) con clorofila-a como proxy del riesgo de intoxicación paralítica por mariscos.
Se implementó un procedimiento de validación cruzada leave-top1-out para evaluar la estabilidad de las clasificaciones de características.
Se compararon modelos supervisados (Random Forest, XGBoost con/sin SHAP) con métodos no supervisados y de predicción no objetivo.

Principales resultados:

Los modelos supervisados (Random Forest, XGBoost) exhibieron una inestabilidad significativa en las clasificaciones de importancia de características, lo que sugiere sesgos dependientes del modelo.
Los métodos no supervisados y de predicción no objetivo demostraron una estabilidad perfecta en la clasificación.
Estos métodos estables igualaron o superaron el rendimiento predictivo de los modelos supervisados.

Conclusiones:

La importancia de las características de los modelos supervisados de ML en la ciencia medioambiental debe interpretarse con cautela debido a la posible inestabilidad y sesgo.
Los métodos no supervisados y de predicción no objetivo ofrecen información más robusta y estable para la evaluación de riesgos medioambientales.
Los controles rutinarios de estabilidad, consistencia, relaciones dosis-respuesta y linealidad son cruciales para estudios de ML medioambientales fiables.