SkelFormer: Un enfoque adaptativo jerárquico basado en transformadores sobre grafos esqueléticos para el...

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• El reconocimiento de acciones basado en esqueletos humanos es crucial para comprender la dinámica física.
• Los métodos existentes tienen dificultades con la estructura jerárquica, los requisitos de conocimiento previo y la representación de la dinámica temporal.
• Los desafíos incluyen la codificación de grafos basados en esqueletos y la interpretación de variaciones espaciotemporales.

Objetivo del estudio:

• Proponer SkelFormer, un marco novedoso para el reconocimiento de acciones basado en esqueletos.
• Abordar las limitaciones de los métodos actuales para capturar variaciones espaciotemporales.
• Permitir la extracción de representaciones jerárquicas sin reglas diseñadas por el hombre.

Principales métodos:

• Se desarrolló SkelFormer, un marco que utiliza el Bloque SKT para el intercambio de información.
• Se empleó la concentración y difusión de nodos a través de las dimensiones estructural y temporal.
• Se extrajeron variaciones espaciotemporales de grafos basados en esqueletos en secuencias de video.

Principales resultados:

• SkelFormer logró un rendimiento superior en comparación con los puntos de referencia de vanguardia.
• Se logró una precisión del 92,8% en el conjunto de datos NTU RGB+D 60.
• Se logró un 89,4% en NTU RGB+D 120 y un 96,1% en los conjuntos de datos NW-UCLA.

Conclusiones:

• SkelFormer captura eficazmente las variaciones espaciotemporales para mejorar el reconocimiento de acciones.
• El marco facilita el aprendizaje de representaciones jerárquicas.
• Se demostraron resultados de vanguardia en múltiples conjuntos de datos de referencia.