Pose2met: un marco unificado espaciotemporal para la estimación de la pose humana 3D y la estimación del gasto...

Área de la Ciencia:

• Visión por Computadora
• Ingeniería Biomédica
• Aprendizaje Automático

Sus antecedentes:

• La estimación precisa de la pose humana 3D (HPE) y la estimación del gasto energético (EEE) son cruciales para el fitness y la atención médica.
• Los métodos existentes a menudo enfrentan desafíos con actividades complejas y generalización.
• La optimización conjunta de HPE y EEE dentro de un marco unificado sigue siendo un área de investigación abierta.

Objetivo del estudio:

• Abordar los desafíos en HPE 3D y EEE desarrollando un marco unificado.
• Mejorar el manejo de actividades complejas y mejorar las capacidades de generalización.
• Optimizar conjuntamente la dinámica de pose y los patrones metabólicos para la predicción directa a partir de entradas de pose 2D.

Principales métodos:

• Se propuso Pose2Met, un marco unificado de extremo a extremo para HPE 3D y EEE conjuntos.
• Se introdujo STAPFormer, un modelo Transformer que utiliza una representación de pose agregada espaciotemporal (STAP) para la modelización del movimiento.
• Se implementó una estrategia de aprendizaje unificada de pose-metabolismo para la optimización conjunta.

Principales resultados:

• STAPFormer logró 38,2 mm MPJPE en Human3.6M, superando a los modelos existentes.
• La predicción de EEE logró 22,1 kcal MAE en Vid2Burn-ADL utilizando entrada basada en pose.
• El marco unificado demostró una mayor robustez y generalización, con EEE basado en pose 2D que se acerca a la precisión basada en pose 3D.

Conclusiones:

• Las representaciones de movimiento de alta calidad son vitales tanto para HPE como para EEE.
• Pose2Met muestra un potencial significativo para aplicaciones inteligentes de fitness y atención médica.
• El marco ofrece una dirección prometedora para cerrar la brecha entre la estimación de pose y gasto energético.