MitoPose: Detección mejorada de posturas complejas en figuras Thangka

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Preservación del arte digital

Sus antecedentes:

• Las pinturas Thangka tibetanas poseen un rico valor cultural y artístico, a menudo presentan figuras humanas complejas con múltiples extremidades.
• Los métodos convencionales de estimación de la postura humana luchan con las características únicas de las figuras en el arte Thangka.
• La detección precisa de puntos clave es crucial para la preservación y el análisis digital de las pinturas de Thangka.

Objetivo del estudio:

• Desarrollar un modelo avanzado de estimación de la pose humana específicamente para los desafíos presentados por las pinturas Thangka tibetanas.
• Mejorar la precisión y la robustez de la detección de puntos clave en obras de arte con formas humanas no estándar.
• Facilitar la preservación digital y el análisis académico del arte Thangka a través de una mejor estimación de la pose.

Principales métodos:

• Basándose en la arquitectura YOLOv11-Pose, incorporando la estructura Mamba para mejorar la captura de características globales.
• Implementación de un módulo de fusión de características para integrar de manera efectiva las características visuales superficiales y profundas.
• Proponer una nueva función de pérdida de KAL para mitigar la interferencia entre los puntos clave de diferentes partes del cuerpo.
• Creación y anotación de un conjunto de datos dedicado de 6208 imágenes de Thangka, aumentadas para una mejor generalización.

Principales resultados:

• El modelo MythPose propuesto logró un rendimiento significativo, con 89.13% mAP@0.5, 92.51% PCK y 87.22% OKS en imágenes de Thangka.
• MythPose demostró un rendimiento superior en comparación con el modelo de referencia en las tareas de estimación de la postura humana en los conjuntos de datos de Thangka.
• El modelo maneja efectivamente figuras con extremidades estándar y múltiples, comunes en el arte Thangka.

Conclusiones:

• MythPose ofrece una solución robusta para la estimación de la postura humana en las pinturas Thangka tibetanas, superando los métodos existentes.
• Esta investigación proporciona una herramienta valiosa para la preservación digital y el estudio del arte Thangka.
• Las técnicas desarrolladas ofrecen aplicaciones potenciales para la estimación de poses en otras obras de arte complejas y estilizadas.