Normalización de Pose Basada en LLM y Fusión Multimodal para el Reconocimiento de Expresiones Faciales en Poses...

Área de la Ciencia:

• Ciencias de la Computación
• Inteligencia Artificial

Sus antecedentes:

• Los sistemas de reconocimiento de expresiones faciales (FER) luchan con la precisión en caras no frontales o rotadas.
• Los métodos FER actuales están limitados por las variaciones de pose, lo que dificulta las aplicaciones en el mundo real.

Objetivo del estudio:

• Mejorar la precisión de FER abordando los desafíos que plantean las grandes variaciones de pose.
• Desarrollar un método FER robusto capaz de reconocer expresiones a partir de imágenes faciales de perfil y rotadas en grandes ángulos.

Principales métodos:

• Propuso un método FER novedoso que combina la transformación de imágenes de perfil a frontal y el aprendizaje multimodal.
• Utilizó Qwen-Image-Edit para transformar imágenes de perfil a vistas frontales, preservando las características de la expresión.
• Empleó el modelo CLIP para el aprendizaje conjunto de visión y lenguaje para mejorar la representación semántica de las características de la expresión.

Principales resultados:

• Logró una alta precisión en conjuntos de datos de referencia: RAF (89,39%), EXPW (67,17%) y AffectNet-7 (62,66%).
• Demostró un rendimiento superior en comparación con los enfoques FER existentes, particularmente para poses desafiantes.

Conclusiones:

• El enfoque propuesto de transformación de perfil a frontal y aprendizaje multimodal mitiga eficazmente los problemas de variación de pose en FER.
• Este método ofrece un avance significativo para sistemas de reconocimiento de expresiones faciales prácticos y precisos.