JMM-TGT: Reconocimiento de acciones 3D autosupervisado mediante enmascaramiento de movimiento articular y...

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Inteligencia Artificial

Sus antecedentes:

• El aprendizaje autosupervisado en el reconocimiento de acciones de esqueletos 3D a menudo se centra en características de movimiento únicas.
• Este enfoque limita la captura de variaciones sutiles de movimiento y relaciones espacio-temporales complejas, lo que lleva a una comprensión incompleta de la acción.

Objetivo del estudio:

• Proponer un modelo novedoso, el Joint Motion Masking with Topology-Guided Transformer (JMM-TGT), para el reconocimiento mejorado de acciones de esqueletos 3D.
• Mejorar la capacidad del modelo para percibir movimientos sutiles de las articulaciones y capturar dependencias espacio-temporales complejas.

Principales métodos:

• Se implementó el enmascaramiento de movimiento articular (JMM) para generar probabilidades de enmascaramiento basadas en las diferencias y similitudes del movimiento articular, guiando el enmascaramiento articular en cada paso de tiempo.
• Se integró un codificador transformador guiado por topología que incorpora la relación topológica entre las articulaciones para ajustar el mecanismo de atención y capturar mejor la dependencia espacio-temporal.

Principales resultados:

• El modelo JMM-TGT demostró mejoras de rendimiento que oscilaron entre el 1,5% y el 7,9% en diferentes configuraciones de evaluación.
• Se realizaron experimentos comparativos con modelos de reconocimiento de acciones convencionales en los conjuntos de datos NTU RGB+D 60, NTU RGB+D 120 y PUK-MMD.

Conclusiones:

• El modelo propuesto JMM-TGT mejora eficazmente el reconocimiento de acciones de esqueletos 3D al abordar las limitaciones de los métodos autosupervisados existentes.
• La combinación de enmascaramiento de movimiento articular y atención guiada por topología mejora significativamente la comprensión de los patrones dinámicos complejos en las acciones humanas.