DirMixE: Aprovechamiento del reconocimiento de cola larga agnóstico a la prueba con variaciones jerárquicas de...

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Inteligencia Artificial

Sus antecedentes:

• Las tareas de reconocimiento de cola larga presentan desafíos debido a distribuciones de etiquetas de prueba desconocidas y desequilibradas.
• Los métodos existentes de Mezcla de Expertos (MoE) abordan principalmente las variaciones globales, descuidando los cambios en la distribución local.

Objetivo del estudio:

• Desarrollar una novedosa estrategia de MoE, DirMixE, que tenga en cuenta las variaciones tanto globales como locales en las distribuciones de etiquetas de prueba para mejorar el reconocimiento de cola larga.
• Introducir un marco de ajuste fino de habilidades latentes (LSF) para el ajuste fino eficiente en parámetros de los modelos de fundación.
• Analizar teóricamente los límites de error de generalización para el aprendizaje estándar y el ajuste fino eficiente en parámetros (PEFT).

Principales métodos:

• Estrategia propuesta DirMixE que asigna expertos a meta-distribuciones de Dirichlet para capturar variaciones locales, con manejo inherente de variaciones globales.
• Marco desarrollado de ajuste fino de habilidades latentes (LSF) con implementaciones de LoRA y Adaptador para ajuste fino eficiente en parámetros.
• Derivación de límites teóricos superiores del error de generalización y análisis de la escala de hipótesis de PEFT.

Principales resultados:

• DirMixE demuestra ser eficaz para manejar distribuciones de etiquetas de prueba diversas y desequilibradas.
• El marco LSF permite el ajuste fino eficiente de los modelos de fundación.
• El análisis teórico confirma los beneficios de la regularización basada en la varianza y proporciona información sobre la complejidad de PEFT.

Conclusiones:

• DirMixE ofrece una solución robusta para el reconocimiento de cola larga agnóstico a la prueba al abordar las variaciones jerárquicas de la distribución de etiquetas.
• El marco LSF proporciona un enfoque eficaz para el ajuste fino eficiente en parámetros.
• El estudio contribuye a la comprensión teórica de la generalización en el aprendizaje automático y PEFT.