Aprendizaje cerrado sin retroalimentación con proyección hacia adelante

Área de la Ciencia:

• Neurociencia computacional
• Aprendizaje automático

Sus antecedentes:

• Los métodos actuales sin retropropagación se basan en la retroalimentación de errores local para la optimización.
• Existe una limitación significativa en entornos que carecen de comunicación retrógrada para la sintonización de pesos presinápticos.

Objetivo del estudio:

• Presentar la Proyección hacia Adelante (FP), un método de entrenamiento que evita la comunicación retrógrada.
• Permitir el entrenamiento eficiente de redes neuronales utilizando un solo pase hacia adelante.

Principales métodos:

• La FP emplea proyecciones no lineales aleatorias para generar potenciales de membrana preactivación objetivo.
• Las funciones de pérdida local se optimizan mediante regresión de forma cerrada, lo que elimina la necesidad de retroalimentación de capas posteriores.
• El método utiliza un solo pase hacia adelante a través del conjunto de datos.

Principales resultados:

• La FP logra un rendimiento de generalización comparable a los métodos de aprendizaje local basados en descenso de gradiente.
• Se observan importantes aceleraciones en el entrenamiento debido al requisito de un solo pase hacia adelante.
• En el aprendizaje de pocas muestras, los modelos de FP demuestran una generalizabilidad superior en comparación con los modelos optimizados por retropropagación.
• Los potenciales de membrana capa por capa en las redes de FP proporcionan predicciones de etiquetas interpretables.

Conclusiones:

• La Proyección hacia Adelante ofrece una alternativa eficiente e interpretable a los métodos de entrenamiento tradicionales.
• La FP es particularmente ventajosa en escenarios con comunicación retrógrada limitada o nula.
• El método muestra ser prometedor para aplicaciones biomédicas, incluida la identificación de características diagnósticas en tareas de aprendizaje de pocas muestras.