Poda Estructurada Explicable de BERT mediante Información Mutua

Área de la Ciencia:

• Inteligencia Artificial
• Procesamiento del Lenguaje Natural
• Aprendizaje Automático

Sus antecedentes:

• Los modelos BERT (Bidirectional Encoder Representations from Transformers) son potentes para el procesamiento del lenguaje natural (PLN) pero computacionalmente costosos para dispositivos de borde.
• Los métodos de compresión existentes a menudo requieren un reentrenamiento extenso o datos supervisados, lo que limita su aplicabilidad.

Objetivo del estudio:

• Introducir un esquema de poda estructurada no supervisado y sin reentrenamiento para modelos BERT.
• Reducir el costo computacional y la huella de memoria de BERT para su implementación en dispositivos de borde.

Principales métodos:

• Un novedoso esquema de poda guiado por información mutua (MI) utilizando entropía de orden α de Rényi.
• Desarrollo de un estimador de MI consciente de la representación y una selección de ancho de banda del kernel basada en principios para señales de poda estables y eficientes en cuanto a muestras.
• Aplicación de visualizaciones de IA Explicable para comprender los cambios en las características y predicciones después de la compresión.

Principales resultados:

• El método propuesto elimina eficazmente las unidades redundantes en BERT preservando la capacidad de representación.
• Los modelos comprimidos muestran reducciones significativas en memoria y latencia, adecuados para hardware de consumo.
• Las evaluaciones en benchmarks demuestran una pérdida mínima de precisión, superando a las bases no supervisadas y compitiendo con los métodos supervisados.

Conclusiones:

• El esquema de poda no supervisado y sin reentrenamiento ofrece una forma eficiente de comprimir modelos BERT.
• Este enfoque facilita la implementación de modelos avanzados de PLN en dispositivos de borde con recursos limitados.
• El método mantiene el rendimiento del modelo y proporciona información sobre el proceso de compresión a través de IA Explicable.