Una mirada moderna al sesgo de simplicidad en tareas de clasificación de imágenes

Área de la Ciencia:

• Inteligencia Artificial
• Aprendizaje Automático
• Visión por Computadora

Sus antecedentes:

• El sesgo de simplicidad (SB) es crucial para la generalización de redes neuronales, pero su impacto en el mundo real no está claro.
• Las medidas de complejidad existentes pueden evaluar el SB de manera imprecisa, confundiéndolo con la expresividad del modelo.

Objetivo del estudio:

• Investigar sistemáticamente el SB en modelos CLIP y su efecto en la generalización de la clasificación de imágenes.
• Proponer una nueva medida consciente de la frecuencia para cuantificar el SB.
• Evaluar las compensaciones de la modulación del SB en diversas tareas de generalización.

Principales métodos:

• Análisis teórico de las medidas de complejidad.
• Desarrollo de una medida de SB consciente de la frecuencia utilizando interpolaciones 1-D en el espacio de entrada con restricciones de frecuencia.
• Modulación del SB en modelos CLIP para evaluaciones de cero disparos y ajuste fino en tareas OOD, de corrupción de imágenes y adversariales.

Principales resultados:

• La medida propuesta revela que el SB desplaza la sensibilidad del modelo hacia componentes de baja frecuencia, explicando las mejoras en la generalización.
• Un SB más fuerte mejora la generalización fuera de distribución (OOD).
• Un SB más fuerte se correlaciona con una menor robustez adversarial.

Conclusiones:

• El SB juega un papel importante en las capacidades de generalización de los modelos CLIP.
• Una medida consciente de la frecuencia proporciona una visión más profunda de los mecanismos del SB.
• El equilibrio del SB es fundamental para optimizar el rendimiento del modelo en diferentes escenarios de generalización, particularmente en la robustez OOD frente a la robustez adversarial.