Chameleon: Optimización adaptativa de código para la compilación acelerada de redes neuronales profundas

Área de la Ciencia:

• Informática
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• Los métodos actuales de ejecución de redes neuronales se basan en técnicas subóptimas y que consumen mucho tiempo, como bibliotecas optimizadas manualmente o algoritmos genéticos.
• Estos métodos a menudo implican mediciones de hardware frecuentes y costosas, lo que dificulta la eficiencia y la innovación.

Objetivo del estudio:

• Desarrollar una solución adaptativa para la optimización rápida de código en redes neuronales.
• Acelerar la búsqueda de código óptimo y mejorar el rendimiento de salida para espacios de diseño no vistos.

Principales métodos:

• Aprovechamiento del aprendizaje por refuerzo (RL) para una convergencia más rápida en la optimización.
• Desarrollo de un algoritmo de muestreo adaptativo que prioriza las mediciones representativas del hardware.
• Incorporación de lógica inspirada en el conocimiento del dominio para mejorar la calidad de la muestra.

Principales resultados:

• Chameleon logró una aceleración de 4,45 veces en el tiempo de optimización en comparación con AutoTVM.
• Demostró una mejora del 5,6% en el tiempo de inferencia para redes profundas modernas.
• Se adaptó con éxito a espacios de diseño previamente no vistos para una optimización de código eficiente.

Conclusiones:

• Chameleon ofrece un enfoque más eficiente y efectivo para la optimización de código de redes neuronales.
• El muestreo adaptativo y la integración de RL reducen significativamente el tiempo de optimización y mejoran el rendimiento.
• Este método fomenta la innovación al permitir una iteración y un despliegue más rápidos de diversas arquitecturas de redes neuronales.