Decodificación del Habla Encubierta a partir de EEG mediante un Transformador Espacio-Temporal de Áreas Funcionales

Área de la Ciencia:

• Neurociencia
• Ciencia Cognitiva
• Procesamiento de Señales

Sus antecedentes:

• La decodificación del habla encubierta a partir de electroencefalograma (EEG) es difícil debido a la limitada comprensión del mapeo neuronal de la pronunciación y a las bajas relaciones señal-ruido.
• El habla encubierta, la imaginación de hablar sin sonido audible ni movimiento, presenta desafíos únicos para la decodificación neuronal.

Objetivo del estudio:

• Desarrollar un marco eficaz para la decodificación del habla encubierta a partir de señales de EEG.
• Investigar los mecanismos neuronales subyacentes a la producción del habla encubierta e identificar características neuronales discriminatorias.

Principales métodos:

• Se desarrolló un conjunto de datos de EEG de habla multilocución a gran escala a partir de 57 participantes.
• Se introdujo el marco Functional Areas Spatio-temporal Transformer (FAST) para procesar señales de EEG.
• Se utilizó la arquitectura transformadora para la codificación de secuencias de datos de EEG.

Principales resultados:

• Se identificaron características neuronales del habla distintas e interpretables a través de mapas de activación generados por FAST.
• Se visualizó la activación neuronal en las regiones cerebrales frontal y temporal durante el habla encubierta.
• Se demostró la eficacia del marco FAST en la decodificación del habla a partir de EEG.

Conclusiones:

• Este estudio proporciona la primera evidencia interpretable para la decodificación del habla a partir de EEG.
• El marco FAST ofrece nuevas perspectivas sobre las características discriminatorias de las representaciones neuronales del habla encubierta.
• El conjunto de datos y el marco desarrollados allanan el camino para futuras investigaciones en interfaces cerebro-computadora para el habla.