Red de fusión temporal a escala múltiple para el reconocimiento multimodal de emociones en tiempo real en entornos...

Área de la Ciencia:

• Inteligencia artificial
• Interacción hombre-ordenador
• Procesamiento de señales

Sus antecedentes:

• El reconocimiento de emociones en el Internet de las Cosas (IoT) enfrenta desafíos con diversos datos de sensores y escalas temporales.
• Los métodos existentes luchan por equilibrar la precisión, la latencia y la eficiencia energética en dispositivos IoT con recursos limitados.
• El procesamiento de datos de sensores multimodales (fisiológicos, visuales y de audio) requiere técnicas de fusión sofisticadas.

Objetivo del estudio:

• Para presentar EmotionTFN, una nueva red de fusión temporal jerárquica para el reconocimiento preciso de emociones IoT.
• Para permitir el despliegue eficiente de sistemas de reconocimiento de emociones en dispositivos de borde.
• Validar el rendimiento y la aplicabilidad en el mundo real de la arquitectura propuesta.

Principales métodos:

• Se ha desarrollado una red de fusión temporal de emociones a escala múltiple (EmotionTFN) con atención temporal jerárquica.
• Datos integrados fisiológicos (EEG, PPG, GSR), visuales y de audio a través de ventanas temporales a corto, mediano y largo plazo.
• Optimizaciones de computación de borde aplicadas: compresión de modelos, cuantización y muestreo adaptativo.

Principales resultados:

• Se logró una precisión del 94,2% en la clasificación de emociones discretas y un error absoluto medio de 0,087 en la predicción dimensional en conjuntos de datos MELD, DEAP y G-REx.
• Latencia demostrada de menos de 200 ms en el hardware de IoT con una mejora del 40% en la eficiencia energética.
• Implementación validada en el mundo real con un tiempo de actividad del 97,2% y alta satisfacción del usuario (4.1/5.0).

Conclusiones:

• EmotionTFN procesa efectivamente los datos de los sensores multimodales para el reconocimiento de emociones de IoT en múltiples escalas temporales.
• Las optimizaciones de computación de borde permiten un reconocimiento de emociones eficiente y preciso en dispositivos con recursos limitados.
• El sistema garantiza la privacidad del usuario mediante el procesamiento local de datos, manteniendo al mismo tiempo un alto rendimiento y fiabilidad.