Redes neuronales profundas como las hamiltonianas

Área de la Ciencia:

• Ciencias de la computación teórica.
• La mecánica estadística es la mecánica estadística.
• Teoría del aprendizaje profundo teoría del aprendizaje profundo.

Sus antecedentes:

• El trabajo previo en la teoría del aprendizaje profundo a menudo analiza las salidas de la red sobre parámetros aleatorios.
• Este estudio explora lo contrario: el panorama energético de una red fija aleatoria sobre sus entradas.

Objetivo del estudio:

• Para analizar el panorama energético de un perceptrón multicapa inicializado aleatoriamente (MLP) visto como un hamiltoniano sobre sus entradas.
• Para investigar la estructura de los mínimos casi globales en el límite de ancho infinito.
• Para entender el comportamiento de las diferentes funciones de activación dentro de este marco.

Principales métodos:

• Ver un MLP aleatorio como un hamiltoniano sobre las entradas.
• Usando el truco de la réplica para el cálculo analítico exacto de la entropía (volumen del registro).
• Derivar y resolver ecuaciones de punto de silla de montar para superposiciones de entrada utilizando la distribución de Gibbs.
• Soluciones numéricas para diversas profundidades y funciones de activación (tanh, sin, ReLU, no linealidades con forma).

Principales resultados:

• Cálculo analítico exacto de la entropía a una energía dada.
• Derivación de las ecuaciones de punto de silla de montar que describen las superposiciones de entrada.
• Las soluciones numéricas revelan diversos comportamientos incluso en un ancho infinito.
• Se observó una ruptura de simetría de réplica completa para las funciones de activación de sin.
• Simetría de réplica observada para el bronceado poco profundo / ReLU y MLPs de forma profunda.

Conclusiones:

• Los MLPs aleatorios exhiben comportamientos de paisaje energético rico influenciados por las funciones de activación y la profundidad.
• Las redes de ancho infinito pueden mostrar fenómenos complejos de mecánica estadística como la ruptura de simetría de réplica.
• La perspectiva hamiltoniana proporciona nuevos conocimientos sobre la teoría del aprendizaje profundo y las propiedades de los paisajes de redes neuronales.