Diseño centrado en el humano para la estimación de la pose humana con IMU ligera y vestible

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Tecnología Vestible

Sus antecedentes:

• La estimación de la pose humana es crucial para la interacción humano-computadora.
• Los métodos existentes a menudo requieren recursos computacionales significativos, lo que limita la implementación en dispositivos.
• Los sistemas basados en unidades de medición inercial (IMU) vestibles ofrecen una alternativa que preserva la privacidad.

Objetivo del estudio:

• Desarrollar un marco de estimación de la pose humana altamente eficiente para la implementación en dispositivos vestibles.
• Lograr un equilibrio entre alta precisión y baja latencia para aplicaciones en tiempo real.
• Aprovechar la destilación de conocimiento y la re-parametrización estructural para la optimización del modelo.

Principales métodos:

• Un modelo profesor basado en Transformer aprende representaciones espacio-temporales.
• Un modelo estudiante basado en involución utiliza operadores adaptativos de entrada.
• La re-parametrización estructural colapsa el grafo de entrenamiento para una inferencia eficiente.
• La destilación de conocimiento transfiere el aprendizaje del modelo profesor al modelo estudiante.

Principales resultados:

• El marco propuesto logra una precisión cercana al estado del arte (81 mm MPJPE en DIP-IMU, 94 mm en IMUPoser).
• Se alcanza una latencia sub-milisegundo (0.012 ms en DIP-IMU, 0.011 ms en IMUPoser).
• Se demuestran aceleraciones significativas (uno o dos órdenes de magnitud) en comparación con los modelos base de Transformer.
• El modelo muestra robustez y generalización entre sujetos.

Conclusiones:

• El marco desarrollado es amigable con el hardware y adecuado para dispositivos vestibles de bajo consumo.
• Permite una estimación de la pose humana eficiente y en tiempo real en dispositivos de borde.
• El enfoque desacopla eficazmente la expresividad del entrenamiento de la eficiencia de la inferencia.