Regulación de gradiente inducida por la estructura para modelos de lenguaje de visión generalizables

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Procesamiento del lenguaje natural

Sus antecedentes:

• El ajuste rápido adapta los modelos de lenguaje visual previamente entrenados de manera eficiente utilizando indicaciones suaves.
• El aprendizaje de pocos disparos con ajuste rápido enfrenta desafíos en la sensibilidad de inicialización y el exceso de ajuste.
• Los métodos existentes tienen dificultades para adaptarse rápidamente y mantener la generalización en escenarios con pocos datos.

Objetivo del estudio:

• Introducir un nuevo marco de aprendizaje metapromptado regulado por gradientes (GRAM).
• Mejorar la efectividad de la sintonización rápida en escenarios de aprendizaje de pocos disparos y cero disparos.
• Mejorar la generalización entre dominios y reducir el exceso de ajuste en los modelos de lenguaje de visión.

Principales métodos:

• Desarrolló un paradigma de metaaprendizaje utilizando datos de texto con etiqueta débil.
• Empleado el agrupamiento jerárquico intermodal para la organización de datos.
• Se introdujo una función de regulación de gradiente para mejorar la generalización.
• Propuso una función de regulación de gradiente inducida por la estructura para el ajuste del tiempo de prueba.

Principales resultados:

• GRAM logra el estado de la técnica de generalización de pocos disparos y cero disparos.
• El marco mejora constantemente varios métodos de ajuste rápido.
• Se ha demostrado una adaptación efectiva con datos limitados o sin etiquetar.
• Mostró un metaaprendizaje robusto en diversos dominios.

Conclusiones:

• GRAM ofrece una solución robusta y adaptable para los desafíos de ajuste rápido.
• Los métodos propuestos mejoran significativamente las capacidades de aprendizaje de pocos disparos y cero disparos.
• GRAM proporciona un enfoque independiente del modelo para mejorar el rendimiento del ajuste rápido.
• El marco facilita la transferencia eficiente de conocimientos sin anotaciones explícitas.