Redes actor-crítico con memristores analógicos que imitan el aprendizaje basado en recompensas

Área de la Ciencia:

• Ingeniería Neuromórfica
• Neurociencia Computacional

Sus antecedentes:

• La computación bioinspirada actual a menudo imita solo partes del cerebro.
• El hardware memristivo se utiliza típicamente para funciones limitadas en algoritmos de aprendizaje, requiriendo software para tareas complejas.

Objetivo del estudio:

• Demostrar un sistema de aprendizaje por refuerzo totalmente integrado utilizando memristores analógicos.
• Crear una arquitectura de red neuronal bioinspirada que realice aprendizaje basado en recompensas completamente en hardware.

Principales métodos:

• Se implementó un algoritmo de diferencia temporal actor-crítico en memristores analógicos.
• Se utilizaron memristores como elementos multipropósito: pesos sinápticos, calculadores de actualización de pesos y determinantes de acciones.
• Se probó el marco en tareas de navegación del laberinto en T y del laberinto de agua de Morris.

Principales resultados:

• Se logró el entrenamiento de pesos en línea y el cálculo directo en hardware de los errores de diferencia temporal.
• Permitió la computación completa en memoria, eliminando el movimiento de datos para el entrenamiento de pesos.
• Se demostró con éxito la navegación en entornos simulados utilizando el sistema basado en memristores.

Conclusiones:

• Este trabajo presenta el primer sistema de aprendizaje por refuerzo en línea y totalmente en memoria para la computación bioinspirada.
• El enfoque allana el camino para motores de computación neuromórfica más eficientes y similares al cerebro.
• Los memristores analógicos pueden servir como componentes versátiles para hardware avanzado de inteligencia artificial.