Ventanas de receptividad temporal jerárquicas y generalización de escala de tiempo de

Área de la Ciencia:

• Neurociencia computacional
• Ciencia cognitiva
• Aprendizaje profundo

Sus antecedentes:

• La cognición humana integra información a través de múltiples escalas de tiempo.
• Las jerarquías corticales tienen Ventanas de Receptividad Temporal (TRW), pero los circuitos locales muestran constantes de tiempo variadas.
• Reconciliar estas escalas de tiempo es crucial para comprender la función cerebral.

Objetivo del estudio:

• Desarrollar y evaluar redes neuronales profundas biológicamente constreñidas que modelen la integración de información a través de escalas de tiempo anidadas.
• Investigar el papel de los priors invariantes a la escala en el aprendizaje y la generalización eficientes.
• Explorar cómo estos priors se relacionan con el procesamiento de información secuencial por parte del cerebro.

Principales métodos:

• Entrenamiento de redes neuronales profundas biológicamente constreñidas (SITHCon y SITH-RNN) en una tarea de clasificación de lenguaje.
• Imitación de estructuras jerárquicas de lenguaje (letras a palabras).
• Comparación del rendimiento con redes neuronales recurrentes (RNN) genéricas.

Principales resultados:

• Emergió de forma natural una jerarquía de Ventanas de Receptividad Temporal (TRW) en el modelo feedforward (SITHCon).
• La SITH-RNN invariante a la escala aprendió significativamente más rápido con menos parámetros que las RNN genéricas.
• SITH-RNN demostró generalización de cero disparos a escalas de tiempo fuera de distribución.

Conclusiones:

• Los priors secuenciales invariantes a la escala son fundamentales para el procesamiento eficiente de la información en el cerebro.
• Las redes neuronales recurrentes que incorporan estos priors son adecuadas para modelar la cognición humana.
• Estos hallazgos proporcionan un marco computacional para comprender el procesamiento temporal en sistemas neuronales.