FRANCIA: Optimización conjunta de tokens y poda de canales estructurales para la inferencia ViT adaptativa

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Aprendizaje automático

Sus antecedentes:

• Los Vision Transformers (ViTs) enfrentan desafíos de implementación debido al gran tamaño del modelo y la complejidad cuadrática con el número de tokens.
• Los métodos existentes para acelerar ViTs, como la poda y la reducción de tokens, a menudo usan proporciones fijas y descuidan la optimización conjunta, lo que lleva a una pérdida de precisión.

Objetivo del estudio:

• Introducir PRANCE, un nuevo marco para optimizar conjuntamente los canales activados y los tokens por muestra para acelerar la inferencia ViT.
• Para abordar los desafíos de la computación dinámica del canal y el vasto espacio de decisión en la optimización conjunta.

Principales métodos:

• Desarrolló una meta-red con reparto de peso para el soporte dinámico de canales en capas de autoatención de múltiples cabezas (MHSA) y percepción de múltiples capas (MLP).
• Empleado Proximal Policy Optimization (PPO) a través de un selector ligero para administrar de manera eficiente el problema de optimización combinatoria.
• Se introdujo un mecanismo de capacitación "Resultado para ir" que modela la inferencia ViT como un proceso de decisión de Markov para reducir el espacio de acción y el retraso de recompensa.

Principales resultados:

• Se ha conseguido una reducción de aproximadamente el 50% en las FLOP (operaciones de punto flotante).
• Retenido sólo alrededor del 10% de los tokens de entrada.
• Mantiene la precisión Top-1 sin pérdidas, demostrando ganancias de eficiencia significativas.

Conclusiones:

• PRANCE ofrece un enfoque unificado para acelerar las TI mediante la optimización simultánea de la arquitectura y los datos.
• El marco aborda efectivamente la compensación entre la compresión y la precisión, lo que permite un despliegue eficiente de ViT.