Videos de Conceptos Relacionados
Purposive Learning
Language Development
The critical period for language acquisition suggests that the ability to acquire language is at its peak early in life. As people age, this proficiency decreases. Language development begins very...
Language
Corballis and Suddendorf (2007) and Tomasello and Rakoczy (2003) highlight the role of language in...
Components of Language
Language and Cognition
Observational Learning
También podría leer
Artículos Relacionados
Artículos vinculados a este trabajo por autores compartidos, revista y gráfico de citas.
Integrating Multi-View Features via Deep Generalized Canonical Correlation Analysis for Single-Cell Clustering.
Photobiomodulation-reprogrammed extracellular vesicles delivered <i>via</i> a biodegradable microneedle patch promote cardiac repair by enhancing glycolytic metabolism.
Stem cell-derived exosome therapy for traumatic brain injury and its auditory complications.
Video Experimental Relacionado
Updated: Jan 7, 2026

Closed-loop Neuro-robotic Experiments to Test Computational Properties of Neuronal Networks
Published on: March 2, 2015
SpikeBERT: Un spikformer de lenguaje aprendido de BERT con destilación de conocimiento
Changze Lv1, Tianlong Li1, Weiming Qiao1
1School of Computer Science, Fudan University, Shanghai, China; Shanghai Key Laboratory of Intelligent Information Processing, Shanghai, China.
SpikeBERT, un enfoque novedoso de red neuronal de espigas (SNN), logra un rendimiento a nivel de BERT en tareas de lenguaje con un consumo de energía significativamente reducido. Este método mejora las SNN profundas para el procesamiento del lenguaje natural.
Área de la Ciencia:
- Inteligencia Artificial
- Neurociencia Computacional
- Procesamiento del Lenguaje Natural
Sus antecedentes:
- Las redes neuronales de espigas (SNN) ofrecen un aprendizaje profundo eficiente en energía, pero se quedan atrás en el rendimiento de las tareas de lenguaje debido a arquitecturas superficiales.
- Las SNN existentes para tareas de lenguaje muestran una brecha de rendimiento en comparación con modelos transformadores como BERT.
Objetivo del estudio:
- Mejorar Spikformer, un Transformer de espigas, para el procesamiento avanzado de tareas de lenguaje.
- Desarrollar un método de destilación de conocimiento en dos etapas para entrenar SNN profundas.
Principales métodos:
- Arquitectura Spikformer mejorada para tareas de lenguaje.
- Destilación de conocimiento en dos etapas: preentrenamiento y ajuste fino de BERT.
- Entrenamiento de SpikeBERT utilizando grandes conjuntos de datos no etiquetados y específicos de la tarea.
Principales resultados:
- SpikeBERT logra un rendimiento de vanguardia entre las SNN.
- Resultados comparables a BERT en la clasificación de texto en inglés y chino.
- Demuestra un consumo de energía significativamente menor que BERT.
Conclusiones:
- El método propuesto entrena eficazmente SNN profundas para tareas de lenguaje.
- SpikeBERT ofrece una alternativa viable y energéticamente eficiente a los modelos transformadores para PNL.
- Esta investigación cierra la brecha de rendimiento entre las SNN y los transformadores en el procesamiento del lenguaje.

