Desacoplamiento de Indicaciones mediante Guía Lingüística y Alineación de Representaciones para la Generalización de...

Área de la Ciencia:

• Inteligencia Artificial
• Visión por Computadora

Sus antecedentes:

• La generalización de dominios (DG) tiene como objetivo que los modelos funcionen en dominios no vistos aprendiendo representaciones invariantes al dominio.
• Los modelos de fundaciones visuales (VFM) muestran promesa para DG a través de la personalización de indicaciones, pero a menudo carecen de un enfoque en el desacoplamiento de características invariantes al dominio.

Objetivo del estudio:

• Mejorar la generalización entre dominios aprovechando las indicaciones de lenguaje de los VFM para desacoplar las características invariantes al dominio.
• Proponer un marco novedoso, PADG, para la generalización robusta de dominios.

Principales métodos:

• Utilizar un modelo de lenguaje grande (LLM) para desacoplar las indicaciones textuales en componentes invariantes al dominio y específicos del dominio.
• Emplear un módulo de Alineación de Representación Explícita de Peor Caso (WERA) para mejorar la invarianza visual a través de turnos de dominio simulados y alineación de representaciones.

Principales resultados:

• PADG supera consistentemente los métodos de vanguardia en los puntos de referencia de DG convencionales (PACS, VLCS, OfficeHome, DomainNet, TerraInc).
• Demuestra la eficacia en el aprendizaje de representaciones robustas e invariantes al dominio.

Conclusiones:

• El marco PADG propuesto aborda eficazmente las limitaciones en DG basadas en VFM.
• Logra un rendimiento superior al desacoplar características invariantes al dominio a través de indicaciones de lenguaje guiadas y alineación de representaciones.