Verificación de la Preprocesamiento de ML con Preservación de la Privacidad mediante Indicadores de Comportamiento del Modelo | JoVE Visualize

Área de la Ciencia:

Aprendizaje Automático
Privacidad de Datos
Verificación de Modelos

Sus antecedentes:

Garantizar la integridad del preprocesamiento de datos es crucial para la confiabilidad del modelo de aprendizaje automático, especialmente con datos sensibles.
Los métodos existentes a menudo requieren acceso a datos u etiquetas originales, lo que limita su aplicabilidad en escenarios de preservación de la privacidad.

Objetivo del estudio:

Introducir un marco novedoso de preservación de la privacidad para verificar la aplicación correcta de las canalizaciones de preprocesamiento de datos.
Permitir la verificación del modelo utilizando solo acceso de caja negra al modelo entrenado, sin datos de entrenamiento originales o etiquetas de referencia.

Principales métodos:

El marco combina tres indicadores de comportamiento: cambios en la precisión de la predicción, divergencia de Kullback-Leibler (KL) de las distribuciones de salida y vectores de explicación (LIME/SHAP).
Admite decisiones de corrección binaria y diagnóstico de múltiples clases de pasos de preprocesamiento faltantes.
Una variante sin etiquetas utiliza la agrupación de vectores de explicación para la verificación.

Principales resultados:

El detector binario logró una puntuación F1 superior al 75% incluso bajo una fuerte privacidad diferencial local (ε=0.1).
Los clasificadores de aprendizaje automático superaron a las reglas de umbral simples para tareas de clasificación binaria.
Se observó un rendimiento comparable entre los clasificadores y las reglas de umbral para el diagnóstico de múltiples clases.

Conclusiones:

El marco propuesto ofrece una solución práctica y escalable para salvaguardar la integridad del preprocesamiento en el aprendizaje automático sensible a la privacidad.
El método verifica eficazmente las canalizaciones de preprocesamiento sin comprometer la privacidad de los datos ni requerir un acceso extensivo a los datos.
La variante sin etiquetas amplía la aplicabilidad del método de verificación a escenarios que carecen de ejemplos de canalización etiquetados.