IAP: Mejora del Aprendizaje Continuo de Modelos de Visión y Lenguaje mediante Indicaciones Conscientes de Instancias

Área de la Ciencia:

• Inteligencia Artificial
• Visión por Computadora
• Aprendizaje Automático

Sus antecedentes:

• Los modelos preentrenados de visión y lenguaje (PT-VLMs) enfrentan desafíos en el aprendizaje incremental de tareas multidominio (MTIL), particularmente el olvido hacia adelante y hacia atrás, debido a la llegada incremental de tareas sin acceso a datos previos.
• Las técnicas de ajuste fino eficientes en parámetros (PEFT), como la optimización de indicaciones, se utilizan para adaptar PT-VLMs, pero los métodos existentes pasan por alto el papel crítico de la configuración de parámetros de PEFT, específicamente el diseño de indicaciones.

Objetivo del estudio:

• Abordar las limitaciones de los métodos existentes en la optimización de diseños de indicaciones para diversas tareas dentro del escenario MTIL.
• Proponer un marco novedoso, Indicación Consciente de Instancias (IAP), que mejora la adaptación a nuevas tareas al tiempo que mitiga el olvido catastrófico en PT-VLMs.

Principales métodos:

• Se desarrolló la Indicación de Compuerta Consciente de Instancias (IA-GP) para asignar adaptativamente indicaciones a través de capas de transformador a nivel de instancia, mejorando la adaptación a nuevas tareas y reduciendo el olvido.
• Se introdujo la Indicación Impulsada por la Distribución de Clases Consciente de Instancias (IA-CDDP) para mejorar la adaptación de tareas calculando puntuaciones de confianza a nivel de instancia relacionadas con las etiquetas de las tareas.

Principales resultados:

• Las evaluaciones experimentales en 11 conjuntos de datos demostraron la efectividad del marco propuesto de Indicación Consciente de Instancias (IAP).
• Las estrategias IA-GP e IA-CDDP mejoraron significativamente el rendimiento en el entorno MTIL, mostrando una adaptación superior y una reducción del olvido en comparación con los enfoques existentes.
• El método logró resultados sólidos en tres métricas de rendimiento estándar, validando su eficacia.

Conclusiones:

• El marco propuesto de Indicación Consciente de Instancias (IAP) optimiza eficazmente los diseños de indicaciones para PT-VLMs en escenarios MTIL.
• IA-GP e IA-CDDP ofrecen una solución robusta para mejorar la adaptación a nuevas tareas y mitigar el olvido en entornos de aprendizaje incremental con memoria limitada.
• Los hallazgos resaltan la importancia de la optimización de indicaciones a nivel de instancia para avanzar en las capacidades de PT-VLM en entornos de aprendizaje dinámicos.