Modelos de difusión ligeros basados en la búsqueda de arquitectura neuronal evolutiva multiobjetivo

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Aprendizaje automático

Sus antecedentes:

• Los modelos de difusión sobresalen en la generación de imágenes, pero sufren de altos costos computacionales y largos tiempos de inferencia.
• Los métodos de aceleración existentes se centran principalmente en los pasos de inferencia, descuidando la optimización de la arquitectura del modelo de difusión.
• La optimización de las arquitecturas de modelos de difusión es crucial para desarrollar modelos generativos computacionalmente eficientes.

Objetivo del estudio:

• Proponer LDMOES (Modelos de difusión ligeros basados en la búsqueda evolutiva multiobjetivo), un nuevo marco para el diseño de modelos de difusión eficientes basados en UNet.
• Aprovechar la búsqueda de arquitectura neuronal evolutiva multiobjetivo y la destilación del conocimiento para optimizar las arquitecturas de modelos de difusión.
• Reducir la complejidad computacional de los modelos de difusión sin comprometer la calidad de generación de imágenes.

Principales métodos:

• Implementó un marco que combina la búsqueda de arquitectura neuronal evolutiva multiobjetivo con la destilación del conocimiento.
• Utilizado un espacio de búsqueda modular dentro de LDMOES para desacoplar los componentes de la arquitectura y mejorar la eficiencia de la búsqueda.
• Valida el método propuesto en diversos conjuntos de datos, incluidos CIFAR-10, Tiny-ImageNet, CelebA-HQ y LSUN-church.

Principales resultados:

• LDMOES logró una reducción de aproximadamente el 40% en las operaciones de acumulación múltiple (MAC) en el espacio de píxeles, superando al modelo de maestro.
• En el conjunto de datos Tiny-ImageNet, el modelo generó imágenes de alta calidad con una puntuación FID competitiva de 4.16, lo que demuestra una fuerte generalización.
• En el espacio latente, los MAC se redujeron en ~ 50% con una pérdida de rendimiento insignificante y casi un 60% de reducción en el costo computacional en LSUN-church.

Conclusiones:

• LDMOES diseña efectivamente modelos de difusión ligeros y eficientes basados en UNet a través de la búsqueda evolutiva multiobjetivo y la destilación de conocimientos.
• El método propuesto reduce significativamente los costos computacionales (MAC) tanto en espacios de píxeles como en espacios latentes, manteniendo o mejorando la calidad de la generación.
• LDMOES demuestra una gran efectividad y transferibilidad a través de varios conjuntos de datos, ofreciendo una dirección prometedora para una IA generativa eficiente.