MMSTG-Net: Red neuronal de grafos multiescala espaciotemporal con alineación contrastiva multimodal para el...

Área de la Ciencia:

• Neurociencia
• Ciencias de la Computación
• Psiquiatría

Sus antecedentes:

• Los métodos actuales de reconocimiento de emociones en psiquiatría se basan en autoinformes subjetivos y limitados en el tiempo.
• Existe la necesidad de herramientas objetivas y detalladas para la evaluación de emociones.

Objetivo del estudio:

• Desarrollar una red neuronal de grafos espaciotemporal multimodal (MMSTG-Net) para la clasificación precisa de emociones.
• Modelar conjuntamente la dinámica temporal, la conectividad cerebral y los datos multimodales de EEG y seguimiento ocular.

Principales métodos:

• Se desarrolló MMSTG-Net, una red neuronal de grafos espaciotemporal multimodal.
• Se utilizaron datos de electroencefalografía (EEG) y seguimiento ocular.
• Se evaluó en los conjuntos de datos públicos SEED-VII y SEED-IV para la clasificación de emociones de siete clases.

Principales resultados:

• Se logró un rendimiento de vanguardia en el conjunto de datos SEED-VII (82,74% dependiente del sujeto, 63,06% entre sujetos).
• Se obtuvieron resultados competitivos en el conjunto de datos SEED-IV (87,50% dependiente del sujeto, 84,85% entre sujetos).
• Los estudios de ablación confirmaron la efectividad de los módulos de red individuales y el diseño de fusión.

Conclusiones:

• MMSTG-Net demuestra un fuerte rendimiento para el reconocimiento de emociones utilizando EEG y seguimiento ocular.
• El modelo muestra potencial como herramienta de investigación para ayudar en futuras evaluaciones clínicas de emociones.
• Se requiere una validación prospectiva multicéntrica adicional para la aplicación clínica.