Entrenamiento acelerado de redes neuronales de precisión equivalente utilizando memoria analógica

Área de la Ciencia:

• Ciencias de los materiales
• Ciencias de la computación
• Ingeniería eléctrica

Sus antecedentes:

• El entrenamiento de la red neuronal consume mucha energía debido a la transferencia de datos entre la memoria y los procesadores.
• La memoria no volátil analógica ofrece potencial para el entrenamiento in situ, pero se enfrenta a limitaciones de precisión.
• El hardware de memoria analógica existente muestra un rango dinámico insuficiente y una asimetría de actualización de peso.

Objetivo del estudio:

• Desarrollar un sistema mixto de hardware y software para el entrenamiento eficiente de redes neuronales.
• Para superar las limitaciones de precisión del entrenamiento in situ utilizando la memoria no volátil.
• Mejorar la eficiencia energética computacional y el rendimiento de los aceleradores de redes neuronales.

Principales métodos:

• Implementó redes neuronales mixtas de hardware y software con hasta 204.900 sinapsis.
• Utilizó memoria de cambio de fase para el almacenamiento a largo plazo y condensadores volátiles para actualizaciones casi lineales.
• Se utiliza la "inversión de polaridad" para la transferencia de datos de peso para mitigar las variaciones del dispositivo.

Principales resultados:

• Se han logrado precisiones de generalización equivalentes a la capacitación basada en software en conjuntos de datos estándar de aprendizaje automático (MNIST, CIFAR-10/100).
• Eficiencia energética computacional demostrada de 28 065 millones de operaciones por segundo por vatio.
• El rendimiento calculado por área excede las unidades de procesamiento gráfico actuales en dos órdenes de magnitud.

Conclusiones:

• El sistema desarrollado proporciona un camino viable hacia aceleradores de hardware rápidos y energéticamente eficientes para redes neuronales.
• Este enfoque es particularmente efectivo para capas de redes neuronales completamente conectadas.
• Los hallazgos allanan el camino para el hardware de IA de próxima generación.