Reconocimiento del comportamiento en el aula a través del transformador y el mecanismo de atención: aplicación en la...

Área de la Ciencia:

• Inteligencia artificial
• Tecnología educativa
• Ciencias del comportamiento

Sus antecedentes:

• La evaluación eficaz de la calidad de la enseñanza y el seguimiento de la salud mental son cruciales en la educación médica y de enfermería.
• Los métodos tradicionales para evaluar el comportamiento en el aula a menudo carecen de objetividad y capacidades de retroalimentación en tiempo real.
• Reconocer el compromiso y los estados emocionales de los estudiantes es vital para el aprendizaje personalizado y la intervención temprana.

Objetivo del estudio:

• Desarrollar y evaluar un sistema de inteligencia artificial (IA) basado en Transformer para el reconocimiento automatizado del comportamiento en el aula.
• Mejorar la evaluación de la calidad de la enseñanza y el seguimiento de la salud mental en los entornos educativos.
• Aprovechar los datos multimodales para un análisis preciso y sólido de la participación y el comportamiento de los estudiantes.

Principales métodos:

• Utilizó un modelo de IA basado en Transformer que integra datos de movimiento de video, audio y esqueleto.
• Implementó una nueva estrategia de fusión multimodal con mecanismos de atención espacio-temporal.
• Evaluado el sistema en los conjuntos de datos EduSense y SBU Kinect para la precisión de reconocimiento de comportamiento.

Principales resultados:

• El sistema de IA propuesto superó significativamente a los modelos tradicionales en precisión y redujo las tasas de falsas alarmas.
• Los estudios de ablación confirmaron la eficacia de los módulos de atención espacial y temporal para mejorar el reconocimiento.
• El sistema demostró un rendimiento robusto en la captura de comportamientos complejos en el aula e indicadores de participación de los estudiantes.

Conclusiones:

• El sistema de IA basado en Transformer ofrece una solución escalable y adaptable para el monitoreo del comportamiento en el aula en tiempo real.
• Esta tecnología proporciona valor práctico para entornos de aprendizaje experiencial y apoya estrategias de intervención temprana en la educación médica.
• El enfoque multimodal mejora la precisión y la fiabilidad del compromiso y el análisis del comportamiento de los estudiantes.