Desentrañar la interferencia LoRA: Subespacios ortogonales para la fusión de modelos robustos

Área de la Ciencia:

• La inteligencia artificial es inteligencia artificial.
• Aprendizaje automático Aprendizaje automático.
• Procesamiento del lenguaje natural.

Sus antecedentes:

• El ajuste fino de los grandes modelos de lenguaje (LM) para tareas específicas mejora el rendimiento, pero incurre en altos costos de implementación y almacenamiento.
• La fusión de modelos tiene como objetivo combinar múltiples modelos específicos de tareas en un solo modelo multitarea sin necesidad de capacitación.
• Las técnicas de fusión existentes luchan con los modelos afinados utilizando la adaptación de rango bajo (LoRA), lo que a menudo conduce a la degradación del rendimiento.

Objetivo del estudio:

• Para abordar los problemas de degradación del rendimiento al fusionar modelos LoRA-ajustados finamente.
• Proponer un método novedoso que permita una fusión robusta de modelos LoRA considerando la interacción entre los parámetros del modelo y las distribuciones de datos.
• Mejorar la eficiencia y efectividad de la creación de modelos multi-tarea a partir de modelos específicos de tareas individuales.

Principales métodos:

• Subespacios ortogonales propuestos para la fusión de modelos robustos (OSRM) para restringir el subespacio LoRA antes del ajuste fino.
• Aseguró que las actualizaciones específicas de tareas no afectan negativamente a otras tareas.
• OSRM integrado con algoritmos de fusión existentes para minimizar la interferencia entre las tareas.

Principales resultados:

• OSRM aumenta significativamente el rendimiento de los modelos fusionados en comparación con los métodos existentes.
• El método propuesto preserva con éxito la precisión de una sola tarea después de la fusión.
• Los experimentos en varios conjuntos de datos y LM demostraron la efectividad y la robustez de OSRM para fusionar hiperparámetros.
• OSRM mostró una mejor robustez para la fusión de hiperparámetros.

Conclusiones:

• La interacción entre los datos y los parámetros es crucial para la fusión efectiva de modelos, especialmente con LoRA.
• OSRM ofrece una solución plug-and-play para la fusión de modelos LoRA afinados, mejorando las capacidades de aprendizaje multitarea.
• El método proporciona un enfoque práctico para reducir los costos de implementación mientras se mantiene un alto rendimiento en múltiples tareas.