PoseMoE: Red de Mezcla de Expertos para la Estimación de la Pose Humana 3D Monocular

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Estimación de Pose Humana

Sus antecedentes:

• La estimación de la pose humana 3D monocular depende en gran medida de los métodos basados en elevación que utilizan poses 2D.
• Estos métodos tienen dificultades con la estimación de profundidad debido a características enredadas y a la incertidumbre inicial de profundidad.
• Los enfoques existentes limitan la precisión al combinar profundidad incierta con información de pose 2D refinada.

Objetivo del estudio:

• Desarrollar un enfoque novedoso para la estimación de la pose humana 3D monocular que supere las limitaciones de los métodos actuales basados en elevación.
• Desvincular la codificación de las características de pose 2D y profundidad para mejorar la precisión.
• Mejorar la representación de características a través de la agregación de conocimiento entre expertos.

Principales métodos:

• Se introdujo PoseMoE, una red de Mezcla de Expertos para la estimación de pose 3D monocular.
• Se utilizaron módulos expertos especializados para refinar las características de pose 2D y aprender las características de profundidad de forma independiente.
• Se implementó un módulo de agregación de conocimiento entre expertos para la mejora de características espaciotemporales a través de mapeo bidireccional.

Principales resultados:

• PoseMoE desvincula eficazmente la codificación de características de pose 2D y profundidad, mitigando el impacto negativo de la incertidumbre inicial de profundidad.
• El módulo de agregación entre expertos mejora la representación de características integrando el contexto espaciotemporal.
• PoseMoE demostró un rendimiento superior en comparación con los métodos convencionales basados en elevación en los conjuntos de datos Human3.6M, MPI-INF-3DHP y 3DPW.

Conclusiones:

• El enfoque propuesto de Mezcla de Expertos (PoseMoE) ofrece un avance significativo en la estimación de la pose humana 3D monocular.
• Desvincular el aprendizaje de características de pose 2D y profundidad es crucial para una estimación precisa de la profundidad.
• PoseMoE proporciona una solución más robusta y precisa para la estimación de la pose humana 3D monocular.