FoT: un marco transformador eficiente para la detección en tiempo real de objetos pequeños en vídeos de fútbol

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Análisis deportivo

Sus antecedentes:

• Los métodos tradicionales de detección de objetos luchan con el rendimiento y la precisión en tiempo real en escenarios complejos de video de fútbol como la visión múltiple, el desenfoque de movimiento y el reconocimiento de objetos pequeños.
• Los métodos basados en transformadores enfrentan desafíos con altos costos computacionales y una convergencia lenta para la información de objetivo de grano fino.
• Los enfoques existentes carecen de un equilibrio eficiente entre la comprensión semántica global y la captura de detalles locales.

Objetivo del estudio:

• Proponer un nuevo marco de detección de extremo a extremo, Football Transformer (FoT), para mejorar el análisis de videos de fútbol.
• Lograr un equilibrio eficiente entre la expresión semántica global y la captura de detalles locales en la detección de objetos.
• Mejorar la detección de objetos pequeños y mejorar la precisión general en escenarios complejos de fútbol.

Principales métodos:

• Se introdujo la Unidad de Agregación de Interacción Local (LIAU) para reducir la complejidad de la autoatención de O ((N ^ 2) a O ((N)) a través de la agregación de características y las compensaciones de ventanas.
• Desarrolló el Módulo de Interacción de Características de Escala Múltiple (MFIM) para alinear y fusionar características de escala múltiple, mejorando el detalle de bajo nivel y la integración semántica de alto nivel.
• Diseñado como un nuevo marco de detección de extremo a extremo que integra LIAU y MFIM.

Principales resultados:

• El FoT logró una mejora de 3,0% mAP en el conjunto de datos Soccer-Det y una ganancia de 1,3% en el conjunto de datos FIFA-Vid en comparación con los métodos de referencia.
• El marco demostró la velocidad de inferencia en tiempo real, manteniendo el rendimiento en condiciones complejas de video de fútbol.
• Se observaron mejoras significativas en el rendimiento de detección de objetos pequeños.

Conclusiones:

• El marco propuesto de Football Transformer (FoT) equilibra efectivamente la extracción de características globales y locales para mejorar la detección de objetos en videos de fútbol.
• FoT ofrece una solución robusta y eficiente para la evaluación táctica y el análisis de eventos en el análisis deportivo.
• El método muestra un gran potencial para aplicaciones en el mundo real en el procesamiento de video deportivo.