Adaptación en Tiempo de Prueba para la Detección de Falsificaciones por Relleno de Imágenes

Área de la Ciencia:

• Ciencias de la Computación
• Inteligencia Artificial
• Procesamiento de Imágenes

Sus antecedentes:

• El relleno de imágenes basado en aprendizaje profundo crea falsificaciones muy realistas, lo que desafía a los modelos de detección actuales.
• El rendimiento de la detección se degrada significativamente cuando la distribución de los datos de prueba difiere de la de entrenamiento (cambio de distribución).
• Los métodos existentes luchan con la naturaleza evolutiva y las diversas huellas de varias técnicas de relleno.

Objetivo del estudio:

• Desarrollar un marco de detección adaptativo robusto en tiempo de prueba para falsificaciones por relleno de imágenes.
• Mejorar la adaptabilidad y la precisión de la detección de modelos de detección de falsificaciones en entornos dinámicos y fuera de distribución.
• Abordar las limitaciones de los modelos de detección estáticos que se enfrentan a métodos de relleno de imágenes diversos y en evolución.

Principales métodos:

• Proponer una métrica de gradiente de imagen para cuantificar la incertidumbre del modelo y guiar la adaptación.
• Integrar la métrica de incertidumbre con estadísticas de normalización por lotes (BN) específicas de la muestra para mejorar la inferencia.
• Introducir un módulo de atención cruzada para la adaptación dinámica de ajuste lateral sin alterar la red troncal.
• Construir un conjunto de datos diverso de imágenes sintéticas de múltiples métodos de relleno.

Principales resultados:

• El marco adaptativo propuesto en tiempo de prueba supera significativamente los métodos de referencia existentes.
• Demostró una adaptabilidad mejorada de los modelos de detección de falsificaciones a los cambios de distribución.
• Logró un rendimiento de detección mejorado en entornos dinámicos con variaciones de relleno de imágenes no vistas.
• Validó la efectividad en dos escenarios de sesgo de distribución.

Conclusiones:

• El marco desarrollado aborda eficazmente el desafío de detectar falsificaciones sofisticadas por relleno de imágenes.
• La adaptación en tiempo de prueba utilizando métricas de gradiente y módulos de atención cruzada mejora la robustez del modelo.
• El enfoque ofrece una solución prometedora para mantener una alta precisión de detección en escenarios del mundo real y en evolución.