Diseño de consultas jerárquicas y atención distribuida en el transformador para el reconocimiento de la actividad del...

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Análisis deportivo

Sus antecedentes:

• El reconocimiento de la actividad grupal en los deportes es un desafío debido a las interacciones complejas de los jugadores y los escenarios dinámicos.
• Los métodos actuales a menudo dependen de la detección precisa de la caja de límites, lo que lleva a limitaciones con oclusiones y entrelazamiento de características.
• Los enfoques existentes luchan por integrar la información contextual de manera efectiva para un análisis sólido.

Objetivo del estudio:

• Desarrollar un nuevo marco para el reconocimiento de la actividad de los grupos de jugadores en los deportes utilizando una arquitectura transformadora.
• Abordar las limitaciones de los métodos existentes desacoplando el reconocimiento de actividades individuales y grupales y mejorando la desintegración de características.
• Mejorar la robustez contra las oclusiones, variadas formaciones de jugadores y dinámicas de movimiento a través de mecanismos avanzados de atención.

Principales métodos:

• Se introdujo el transformador de consulta de atención jerárquica (HAQT) con una arquitectura de doble vía.
• Diseño de consultas jerárquicas empleadas para el desentrañamiento eficiente de las características individuales y grupales.
• Utilizó un mecanismo de atención distribuida para una comunicación refinada dentro y entre grupos de jugadores.
• Incorpora una columna vertebral transformadora deformable para la agregación dinámica de las características espaciotemporales de múltiples escalas.
• Implementó un paradigma de predicción de conjuntos para eliminar la dependencia de la precisión de la caja de límites.

Principales resultados:

• HAQT logró un rendimiento de vanguardia en el conjunto de datos de voleibol con un 92,8% de precisión media (mAP) para el reconocimiento de la actividad grupal.
• Demostró un rendimiento superior en el conjunto de datos de Basketball-51, logrando una precisión del 92,76%.
• El modelo modela eficazmente las dependencias espaciotemporales complejas y muestra robustez a las oclusiones y los escenarios dinámicos.

Conclusiones:

• El modelo HAQT propuesto avanza significativamente el reconocimiento de la actividad grupal en la visión por computadora deportiva.
• El diseño de consultas jerárquicas y el marco de atención distribuida ofrecen una solución robusta para el análisis deportivo complejo.
• El paradigma de predicción de conjuntos de HAQT proporciona una localización precisa del jugador y una clasificación de la actividad, superando los métodos existentes.