IMPRESS: Predicción incompleta de movimiento humano mediante recuperación de movimiento y fusión...

Área de la Ciencia:

• Visión por Computadora
• Robótica
• Interacción Humano-Robot

Sus antecedentes:

• La predicción del movimiento humano es crucial para la visión por computadora y la interacción humano-robot.
• Los métodos existentes tienen dificultades con datos incompletos y la captura de diversas relaciones entre las partes del cuerpo.
• Estas limitaciones dificultan el rendimiento preciso de la predicción del movimiento humano.

Objetivo del estudio:

• Proponer un método novedoso, IMPRESS (Incomplete human Motion Prediction through motion REcovery and Structure-Semantic fusion), para una predicción de movimiento humano robusta.
• Abordar los desafíos que plantean las observaciones faltantes y mejorar la modelización de las dinámicas intersegmentales.
• Mejorar la precisión de la predicción capturando relaciones tanto estructurales como semánticas dentro del movimiento humano.

Principales métodos:

• Se desarrolló un módulo de autoatención basado en wavelet para la recuperación de movimiento, distinguiendo detalles de movimiento de alta frecuencia y tendencias globales de baja frecuencia.
• Se diseñó una red convolucional de grafos de fusión estructura-semántica para modelar diversas relaciones entre las partes del cuerpo.
• Se implementó un mecanismo de atención de ventana deslizante de doble canal para capturar la periodicidad del movimiento y garantizar predicciones más fluidas.

Principales resultados:

• IMPRESS demostró un rendimiento superior en conjuntos de datos de referencia (Human3.6M, CMU-MoCap) en escenarios de observación completos e incompletos.
• La atención basada en wavelet capturó eficazmente los detalles del movimiento y las tendencias globales.
• La red de fusión estructura-semántica mejoró con éxito la modelización de las interdependencias de las partes del cuerpo.

Conclusiones:

• IMPRESS ofrece un avance significativo en la predicción del movimiento humano, particularmente en condiciones desafiantes con datos faltantes.
• El método propuesto recupera eficazmente el movimiento y modela relaciones complejas entre las partes del cuerpo.
• IMPRESS logra resultados de vanguardia, allanando el camino para un análisis de movimiento humano más confiable en aplicaciones del mundo real.