DiffEraser: Eliminación de texto generalizada basada en el prior de difusión latente

Área de la Ciencia:

• Visión por Computadora
• Procesamiento de Imágenes
• Inteligencia Artificial

Sus antecedentes:

• Los modelos de eliminación de texto de escena (STR) tienen dificultades con las imágenes de documentos debido a fondos complejos.
• Los métodos existentes no logran estimar con precisión las características del fondo en las regiones de texto, especialmente en escenarios entre dominios.

Objetivo del estudio:

• Introducir DiffEraser, un nuevo marco para la eliminación de texto tanto en imágenes de escenas como de documentos.
• Aprovechar el conocimiento previo del Modelo de Difusión Latente (LDM) para mejorar la reconstrucción del fondo.

Principales métodos:

• Se desarrolló DiffEraser, que incorpora un codificador de Difusión-Prior (DP) y un decodificador de Fusión Latente (LF).
• Se integró el conocimiento previo de LDM con las características de la imagen en el espacio latente.
• Se construyó el conjunto de datos NPID295 para evaluar el rendimiento entre dominios.

Principales resultados:

• DiffEraser supera significativamente los métodos STR existentes en el desafiante conjunto de datos de imágenes de documentos NPID295.
• El codificador DP integra eficazmente el conocimiento previo de LDM con las características de la imagen.
• El decodificador LF genera resultados de alta calidad con texto eliminado al fusionar características heterogéneas.

Conclusiones:

• DiffEraser ofrece una solución robusta para la eliminación de texto en diversos tipos de imágenes.
• El marco demuestra capacidades de generalización superiores, particularmente en aplicaciones entre dominios.
• Los métodos propuestos avanzan el estado del arte en la eliminación de texto de escena.