La diferenciación automática es esencial en el entrenamiento de redes neuronales para resolver ecuaciones...

Área de la Ciencia:

• Ciencias e ingeniería computacionales
• Matemáticas aplicadas
• Aprendizaje automático para la computación científica

Sus antecedentes:

• Las redes neuronales se utilizan cada vez más para resolver ecuaciones diferenciales parciales (EDP).
• Los métodos tradicionales como la diferencia finita (FD) requieren puntos locales para el cálculo de la derivada.
• La diferenciación automática (DA) ofrece una alternativa utilizando sólo puntos de muestreo.

Objetivo del estudio:

• Demostrar cuantitativamente las ventajas de entrenamiento de la diferenciación automática (AD) sobre los métodos de diferencia finita (FD) para los solucionadores de PDE basados en redes neuronales.
• Introducir y validar una nueva métrica, la entropía truncada, para caracterizar las propiedades de entrenamiento de las redes neuronales.
• Comparar el rendimiento de AD y FD en la resolución de PDE desde una perspectiva de formación.

Principales métodos:

• Introducción del concepto de entropía truncada para la caracterización de la formación.
• Análisis experimentales y teóricos de modelos de características aleatorias.
• Análisis de redes neuronales de dos capas utilizando tanto AD como FD.

Principales resultados:

• La entropía truncada cuantifica de manera confiable la pérdida residual en modelos de características aleatorias.
• La entropía truncada sirve como una métrica para la velocidad de entrenamiento de la red neuronal con AD y FD.
• La evidencia experimental y teórica muestra que AD supera a FD en el entrenamiento de redes neuronales para PDEs.

Conclusiones:

• La diferenciación automática (AD) presenta un enfoque de capacitación superior para los solucionadores de ecuaciones diferenciales parciales (PDE) basados en redes neuronales en comparación con los métodos de diferencias finitas (FD).
• La nueva métrica de entropía truncada caracteriza efectivamente la dinámica y el rendimiento del entrenamiento.
• Los hallazgos apoyan la adopción más amplia de AD en el aprendizaje automático científico para resolver ecuaciones complejas.