Complejidad del paisaje para el riesgo empírico de modelos lineales generalizados: Discriminación entre datos...

Área de la Ciencia:

• Física Estadística
• Teoría de Aprendizaje Automático
• Teoría de Matrices Aleatorias

Sus antecedentes:

• Los sistemas modernos de aprendizaje automático utilizan a menudo datos de alta dimensión con correlaciones inherentes, que reflejan estructuras complejas del mundo real.
• Comprender el paisaje de pérdida es crucial para analizar la dinámica de entrenamiento del modelo y las capacidades de generalización.

Objetivo del estudio:

• Determinar el número promedio de puntos críticos en funciones de pérdida empíricas de alta dimensión con datos gaussianos correlacionados.
• Caracterizar la complejidad del paisaje recocido, proporcionando información sobre la estructura del paisaje de pérdida.

Principales métodos:

• Aplicación de la fórmula de Kac-Rice.
• Aprovechamiento de los resultados de la teoría de matrices aleatorias.
• Análisis en el límite de alta dimensionalidad (large-d) bajo una hipótesis técnica.

Principales resultados:

• Caracterización exacta de la complejidad del paisaje recocido para vectores gaussianos correlacionados.
• Análisis detallado del paisaje de pérdida para un solo perceptrón.
• Generalización a un modelo de perceptrón de dos conjuntos de datos para tareas de discriminación.
• Extensión a funciones de pérdida para modelos lineales generalizados con datos correlacionados.

Conclusiones:

• El estudio proporciona un marco teórico para comprender la complejidad de los paisajes de pérdida en el aprendizaje automático con datos estructurados.
• Los resultados ofrecen información sobre la interacción entre la estructura de los datos, la arquitectura del modelo y la dinámica de entrenamiento.
• Los hallazgos son aplicables a la comprensión de escenarios adversarios y la mejora de la generalización del modelo.