Síntesis del habla a partir de la decodificación neuronal de frases habladas

Área de la Ciencia:

• La neurociencia
• Ingeniería biomédica
• Ciencias del habla

Sus antecedentes:

• Las deficiencias neurológicas pueden afectar gravemente las habilidades de comunicación.
• Restaurar el habla a través de la tecnología es un desafío significativo debido al complejo control del tracto vocal.

Objetivo del estudio:

• Desarrollar un decodificador neuronal capaz de sintetizar el habla audible de la actividad cerebral.
• Aprovechar las representaciones cinemáticas y sonoras en la actividad cortical para la decodificación del habla.

Principales métodos:

• Diseñó un decodificador basado en una red neuronal recurrente para interpretar señales neuronales.
• Actividad cortical decodificada en representaciones de movimiento articulador.
• Transformó las representaciones articuladoras en acústica del habla.

Principales resultados:

• Se identificó y transcribió con éxito el habla auditiva sintetizada a partir de la actividad neuronal en pruebas de vocabulario cerrado.
• La incorporación de dinámicas articuladoras intermedias mejoró el rendimiento, especialmente con datos limitados.
• Las representaciones articuladoras descodificadas demostraron la conservación entre altavoces, lo que permite la transferibilidad del descodificador.

Conclusiones:

• El desarrollado decodificador neuronal sintetiza efectivamente el habla de la actividad cerebral.
• Esta tecnología muestra el potencial de una neuroprótesis del habla para restaurar la comunicación.
• La capacidad del decodificador para trabajar con imitación silenciosa sugiere aplicaciones versátiles.