Descomposición de la postura centrada en el origen y basada en partes para la estimación de la postura humana en 3D

Área de la Ciencia:

• Visión por computadora
• Aprendizaje automático

Sus antecedentes:

• Los modelos de transformadores son prometedores en la estimación de la postura humana en 3D a partir de imágenes en 2D.
• Los métodos actuales luchan por equilibrar el contexto global del esqueleto con las características conjuntas locales.

Objetivo del estudio:

• Proponer un nuevo bloque de transformador, el transformador de piezas centrado en el origen (OPFormer), para una mejor estimación de la postura humana en 3D.
• Abordar las limitaciones en la captura de dependencias espaciales globales y locales en esqueletos humanos 2D.

Principales métodos:

• Se introdujo el bloque OPFormer con los pasos de separación y recombinación de esqueletos.
• La separación del esqueleto extrae las características espaciales locales de grano fino.
• La Recombinación de Esqueletos utiliza un esqueleto humano para fusionar características locales y globales a través de un codificador de transformador espacial.

Principales resultados:

• Se ha logrado un rendimiento de última generación en los conjuntos de datos Human3.6M y MPI-INF-3DHP.
• OPFormer alcanzó un error medio por posición de la articulación (MPJPE) de 37.6 mm en Human3.6M sin datos de entrenamiento adicionales.
• Demostró una precisión superior en la estimación de la postura humana en 3D.

Conclusiones:

• El bloque OPFormer integra efectivamente las características locales y globales para una estimación precisa de la postura humana en 3D.
• Este nuevo enfoque avanza en el campo de la reconstrucción de posturas humanas de 2D a 3D.
• OPFormer ofrece una solución robusta para la estimación precisa de la postura humana a partir de entradas monoculares en 2D.