El modelado de canales enmascarados permite a los transformadores de visión aprender una mejor semántica

Área de la Ciencia:

• Visión por computadora
• Aprendizaje automático
• Inteligencia artificial

Sus antecedentes:

• Los transformadores de visión (ViTs) se destacan en el modelado del contexto espacial.
• El Modelado de Imágenes enmascaradas (MIM) es una técnica de pre-entrenamiento común para los ViTs, centrada en la reconstrucción espacial.
• Los métodos MIM existentes a menudo descuidan la continuidad semántica en la dimensión del canal.

Objetivo del estudio:

• Para introducir un nuevo paradigma de pre-entrenamiento, el Modelado de Canales enmascarados (MCM).
• Mejorar el aprendizaje de la representación visual centrándose en la continuidad semántica del canal.
• Mejorar la comprensión de las características de la imagen desde una perspectiva de canal.

Principales métodos:

• Proponer un paradigma de entrenamiento previo para el modelado de canales enmascarados (MCM).
• Reconstruir las características de los canales enmascarados utilizando información contextual de los canales sin enmascarar.
• Utilizando las características del codificador de imágenes CLIP como objetivos de reconstrucción avanzados para atributos semánticos mejorados.

Principales resultados:

• MCM mejora significativamente el rendimiento en las tareas posteriores.
• Eficacia demostrada y superioridad sobre los métodos existentes.
• Comprensión mejorada del modelo de imágenes a través de la continuidad semántica del canal.

Conclusiones:

• MCM es una estrategia de pre-entrenamiento eficaz para los Transformadores de la Visión.
• Centrarse en la continuidad semántica del canal ofrece una nueva dirección para MIM.
• El método propuesto muestra un gran potencial para avanzar en el aprendizaje de la representación visual.