Estimación de emociones a partir de metraje de video con LSTM

Área de la Ciencia:

• Ciencias de la Computación
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• La estimación de emociones es un área de investigación de larga data con varios enfoques de aprendizaje automático.
• Los métodos existentes para el reconocimiento de expresiones faciales a menudo tienen altas demandas computacionales.

Objetivo del estudio:

• Introducir BlendFER-Lite, un modelo LSTM novedoso para el análisis eficiente de expresiones faciales.
• Reducir los costos computacionales en la estimación de emociones manteniendo la precisión.

Principales métodos:

• Se utilizaron Blendshapes de la biblioteca MediaPipe para el análisis de expresiones faciales.
• Se desarrolló un modelo de memoria a corto plazo (LSTM) llamado BlendFER-Lite.
• Se entrenó el modelo en el conjunto de datos FER2013 utilizando datos de transmisión en vivo de la cámara.

Principales resultados:

• Se logró una precisión del 71% y una puntuación F1 del 62% en el conjunto de datos FER2013.
• Se cumplió el punto de referencia de precisión para el conjunto de datos FER2013.
• Se redujeron significativamente los costos computacionales en comparación con los métodos existentes.

Conclusiones:

• BlendFER-Lite ofrece una solución eficiente y precisa para el reconocimiento de expresiones faciales en tiempo real.
• El modelo demuestra una compensación viable entre rendimiento y eficiencia computacional.
• El código, los conjuntos de datos y los modelos están disponibles en Hugging Face para la reproducibilidad.