Decodificación de la Atención Auditiva Basada en EEG para la Identificación del Hablante en Condiciones de Asistencia...

Área de la Ciencia:

• Neurociencia
• Ingeniería Biomédica
• Procesamiento de Señales

Sus antecedentes:

• La decodificación de la atención auditiva (AAD) para la identificación del hablante utilizando electroencefalografía (EEG) es un desafío para las personas con discapacidad auditiva.
• Los métodos existentes no tienen en cuenta la alteración de la percepción auditiva de los audífonos y carecen de una extracción robusta de características de EEG-habla.
• La limitación de conjuntos de datos y la débil alineación intermodal dificultan el desarrollo de SI-AAD efectivos para la asistencia auditiva.

Objetivo del estudio:

• Desarrollar un marco novedoso para la identificación del hablante en la decodificación de la atención auditiva (SI-AAD) adaptado a personas con discapacidad auditiva.
• Crear el primer conjunto de datos de referencia de EEG (MS-AAD) que simula las alteraciones acústicas de los dispositivos de asistencia auditiva.
• Mejorar la correspondencia EEG-habla a través de una mejor alineación modal y extracción de características.

Principales métodos:

• Construcción de cinco conjuntos de datos de AAD de habla mixta (MS-AAD) que simulan alteraciones acústicas inducidas por dispositivos sin señales espaciales.
• Propuesta de un marco de alineación latente mejorado por timbre (TELA) que utiliza aprendizaje contrastivo y clasificación de timbre auxiliar para una mejor alineación modal.
• Diseño de FCTNet, un codificador de EEG basado en atención frecuencia-canal-temporal para la extracción avanzada de patrones neuronales.

Principales resultados:

• El marco conjunto TELA y FCTNet logró una precisión del 89,5% en SI-AAD en diversas condiciones de audición.
• Demostró la efectividad del conjunto de datos MS-AAD en la simulación de condiciones de audición realistas.
• Validó la importancia del aprendizaje de representación guiado por la percepción y la codificación avanzada de EEG.

Conclusiones:

• El enfoque SI-AAD desarrollado mejora significativamente el rendimiento para las personas con discapacidad auditiva al abordar las alteraciones acústicas inducidas por los dispositivos.
• El conjunto de datos MS-AAD y el marco TELA proporcionan un punto de referencia y una metodología valiosos para la investigación futura en tecnologías de asistencia auditiva.
• La codificación avanzada de EEG y el aprendizaje de representación son cruciales para un SI-AAD robusto en entornos auditivos complejos.