IF-MMCL: una red enfocada en el individuo con aprendizaje multi-visión y multi-modal para el reconocimiento de...

Área de la Ciencia:

• La neurociencia
• Ciencias de la computación
• Aprendizaje automático

Sus antecedentes:

• La electroencefalografía (EEG) es crucial para la investigación de la interfaz cerebro-computadora (BCI) en el reconocimiento de emociones.
• Los modelos efectivos de identificación de emociones requieren la extracción de características de múltiples vistas de los datos de EEG.
• Los desafíos incluyen la interacción de múltiples características y la adaptación del dominio en los modelos de reconocimiento de emociones.

Objetivo del estudio:

• Proponer una red innovadora, IF-MMCL, para el reconocimiento de emociones.
• Abordar la interacción de múltiples características y la adaptación de dominios utilizando datos multimodales y multivistas.
• Mejorar la generalización del modelo en la investigación del BCI, especialmente con datos limitados.

Principales métodos:

• Desarrollado IF-MMCL, una red centrada en el individuo que aprovecha los datos multimodales en la representación de múltiples vistas.
• Se utilizó el aprendizaje contrastante centrado en el individuo para mejorar la generalización del modelo.
• Empleó diversas estructuras para la extracción de características de múltiples vistas y el cálculo de relaciones de múltiples características.

Principales resultados:

• Se ha validado el IF-MMCL en cuatro conjuntos de datos de emociones públicas con diversas tareas de clasificación.
• Demostró un rendimiento superior en los experimentos de dejar a un sujeto fuera en comparación con los métodos anteriores.
• Logró una mejora en la generalización del modelo con datos limitados.

Conclusiones:

• IF-MMCL maneja efectivamente la interacción de múltiples características y la adaptación de dominio en el reconocimiento de emociones basado en EEG.
• La red propuesta mejora significativamente la generalización del modelo para las aplicaciones de BCI.
• IF-MMCL representa un avance prometedor para el reconocimiento de emociones utilizando datos limitados de sujetos.