Modelo de base para la comprensión de la acción humana basada en esqueletos

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Interacción hombre-ordenador

Sus antecedentes:

• La comprensión de la acción humana es crucial para la percepción inteligente del movimiento.
• Los datos esqueléticos ofrecen una representación versátil para el modelado humano en robótica e interacción.
• Los métodos actuales carecen de escalabilidad y generalización para diversas tareas de comprensión de la acción.

Objetivo del estudio:

• Introducir un modelo fundamental para la comprensión de la acción humana basada en el esqueleto.
• Desarrollar un marco que mejore la escalabilidad y la generalización en diversas tareas de reconocimiento de acciones.
• Abordar las limitaciones de los enfoques existentes en el manejo de acciones humanas diversas y complejas.

Principales métodos:

• Desarrolló un marco de aprendizaje de representación densa basado en esqueletos unificados (USDRL).
• Empleado un codificador espacial-temporal denso (DSTE) basado en transformador con flujos paralelos para características temporales y espaciales.
• Utilizó la descorrelación de características de múltiples granos (MG-FD) y el entrenamiento de consistencia de múltiples perspectivas (MPCT) para mejorar la extracción y el aprendizaje de características.

Principales resultados:

• Logró un rendimiento de vanguardia en 25 puntos de referencia en 9 tareas de comprensión de la acción basadas en esqueletos.
• Demostró mejoras significativas en tareas de predicción gruesas, densas y transferidas.
• El marco USDRL muestra una escalabilidad superior y capacidades de generalización.

Conclusiones:

• El marco USDRL establece una nueva base para la comprensión de la acción basada en esqueletos.
• Los métodos propuestos avanzan significativamente en el estado de la técnica en el reconocimiento de la acción humana.
• Este trabajo fomenta una mayor investigación, particularmente en tareas de predicción densas para la comprensión de la acción basada en esqueletos.