Meta-Prompt Tuning Basado en Prototipos: Hacia el Aprendizaje Incremental de Pocas Muestras sin Repetición para...

Área de la Ciencia:

• Teledetección
• Visión por Computadora
• Aprendizaje Automático

Sus antecedentes:

• La clasificación de datos multimodales de teledetección funciona bien dentro de conjuntos de etiquetas fijos.
• Las condiciones dinámicas de la superficie causan variaciones en las clases de cobertura terrestre con el tiempo.
• El reentrenamiento de modelos para nuevas clases incurre en altos costos computacionales y problemas de privacidad de datos.

Objetivo del estudio:

• Proponer un marco novedoso, el meta-prompt tuning basado en prototipos (PMPT), para el aprendizaje incremental en teledetección multimodal.
• Abordar los desafíos de los cambios dinámicos en la cobertura terrestre, el costo computacional y la privacidad de los datos en los modelos de clasificación existentes.
• Permitir que los modelos se adapten a nuevas clases con datos limitados mientras preservan el conocimiento histórico.

Principales métodos:

• Se desarrolló el marco PMPT que presenta un backbone de meta-aprendizaje y un clasificador de media de clase más cercana (NCM) actualizado incrementalmente.
• Se congeló el backbone después del entrenamiento inicial en clases base, ajustando solo los prompts visuales relevantes para la sesión para la adaptación incremental.
• Se introdujo una pérdida contrastiva de prototipos incrementales para mitigar la deriva semántica y la superposición de prototipos.

Principales resultados:

• El marco PMPT ajusta eficazmente los prompts visuales para la adaptación incremental de clases, preservando el conocimiento histórico a través de incrustaciones de prototipos.
• El clasificador NCM, combinado con el backbone congelado y el ajuste de prompts, alivia el olvido del conocimiento y el sobreajuste.
• Se demostró la efectividad en conjuntos de datos multimodales de teledetección, mostrando una clasificación exitosa de muestras desconocidas con datos incrementales limitados.

Conclusiones:

• PMPT ofrece una solución eficaz al dilema estabilidad-plasticidad en el aprendizaje incremental para la teledetección.
• El marco clasifica con éxito nuevas clases de cobertura terrestre con datos y sobrecarga computacional mínimas.
• PMPT mejora la adaptabilidad y eficiencia de los sistemas de clasificación de datos multimodales de teledetección.