Separación de la modalidad unificada: un marco de lenguaje de visión para la adaptación del dominio no supervisado

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Procesamiento del lenguaje natural

Sus antecedentes:

• La adaptación de dominio sin supervisión (UDA) tiene como objetivo generalizar los modelos de dominios de origen etiquetados a dominios de destino sin etiquetar.
• Los modelos de lenguaje de visión (VLM) previamente entrenados son prometedores en UDA al alinear las incorporaciones de visión y texto, pero la brecha de modalidad dificulta el rendimiento.
• La UDA directa con VLM a menudo transfiere solo conocimientos invariables en la modalidad, lo que lleva a resultados subóptimos.

Objetivo del estudio:

• Proponer un marco unificado para la AUD que aborde la brecha de modalidad en los MAV.
• Desenredar y manejar por separado los componentes específicos de la modalidad y los invariantes de la modalidad para una mejor adaptación.
• Introducir una métrica de discrepancia de modalidad para la categorización de muestras y la adaptación dirigida.

Principales métodos:

• Se propone un marco unificado de separación de modalidades para desentrañar las características de VLM en componentes invariantes específicos de cada modalidad.
• Los pesos de conjunto adaptativos a la modalidad se determinan en el momento de la prueba para maximizar la sinergia de los componentes.
• Una métrica de discrepancia de modalidad categoriza las muestras, lo que permite el uso específico de muestras invariantes de modalidad para la alineación y muestras inciertas para la anotación.

Principales resultados:

• El marco propuesto consigue un aumento del rendimiento de hasta un 9% en las tareas de la ADU.
• El método demuestra un aumento de 9 veces en la eficiencia computacional en comparación con los enfoques existentes.
• Los experimentos en diversos entornos validan la eficacia y la robustez del marco.

Conclusiones:

• El marco unificado de separación de modalidades cierra efectivamente la brecha de modalidades en los VLM para la AUD.
• El enfoque mejora la generalización entre dominios aprovechando tanto el conocimiento específico de la modalidad como el invariante.
• Este trabajo ofrece una solución computacionalmente eficiente y de alto rendimiento para UDA con VLM.