Aprendizaje de categorías en redes neuronales profundas: contenido de información y geometría de representaciones...

Área de la Ciencia:

• Neurociencia Computacional
• Aprendizaje Automático
• Teoría de la Información

Sus antecedentes:

• La percepción categórica, caracterizada por la compresión dentro de la categoría y la separación entre categorías, se observa en humanos y redes neuronales artificiales.
• Trabajos anteriores demostraron este fenómeno como un resultado necesario del aprendizaje eficiente en un marco teórico.
• Este aprendizaje eficiente reduce el impacto del ruido en los límites críticos de las categorías.

Objetivo del estudio:

• Extender el marco teórico del aprendizaje eficiente y la percepción categórica a redes feedforward artificiales.
• Investigar cómo la minimización del costo de Bayes se relaciona con la maximización de la información mutua en redes neuronales.
• Analizar el papel de los datos estructurados y el ancho de la red en la obtención de representaciones óptimas.

Principales métodos:

• Se aplicó un enfoque de teoría de la información a redes feedforward artificiales, considerando el costo de Bayes como pérdida de entropía cruzada.
• Se demostró que minimizar el costo de Bayes es equivalente a maximizar la información mutua entre categorías y actividades neuronales.
• Se analizaron redes amplias con datos estructurados, vinculando la maximización de la información mutua con la búsqueda de espacios de proyección óptimos y representaciones neuronales basadas en la información de Fisher.

Principales resultados:

• Minimizar el costo de Bayes en redes feedforward implica maximizar la información mutua entre categorías y actividades neuronales.
• El aprendizaje óptimo en redes amplias conduce a representaciones neuronales con métricas basadas en la información de Fisher, alineándose con la información de Fisher específica de la categoría.
• El aprendizaje de categorías induce una expansión del espacio neuronal cerca de los límites de decisión, un correlato clave de la percepción categórica, con máximos de información de Fisher cerca, pero no exactamente en, los límites de clase.

Conclusiones:

• El estudio proporciona un marco teórico que explica la percepción categórica como resultado del aprendizaje eficiente en redes feedforward artificiales.
• El aprendizaje óptimo implica maximizar la información mutua, lo que lleva a representaciones que mejoran la discriminación en los límites de las categorías.
• Los hallazgos demuestran que las redes neuronales artificiales exhiben correlatos neuronales clave de la percepción categórica, validados en modelos de juguete y en el conjunto de datos MNIST.