VTFusion: Una red de fusión multimodal de visión y texto para la detección de anomalías con pocos ejemplos

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Automatización Industrial

Sus antecedentes:

• La detección de anomalías con pocos ejemplos (FSAD) requiere la identificación de defectos con datos normales limitados.
• Los métodos actuales a menudo utilizan características de imagen generales, omitiendo los detalles industriales.
• Las estrategias existentes de fusión visión-texto luchan con la desalineación semántica y la interferencia entre modalidades.

Objetivo del estudio:

• Desarrollar un marco de fusión multimodal de visión y texto (VTFusion) para FSAD industrial.
• Abordar la brecha de dominio y la desalineación semántica en los enfoques actuales de FSAD.
• Mejorar la robustez y la precisión de la detección de anomalías en la inspección industrial.

Principales métodos:

• Introdujo extractores de características adaptativos para datos visuales y textuales para aprender representaciones específicas del dominio.
• Generó anomalías sintéticas para mejorar la discriminación de características.
• Desarrolló un módulo de fusión de predicción multimodal con un bloque de fusión y una red de segmentación para el mapeo de anomalías a nivel de píxel.

Principales resultados:

• Logró un alto rendimiento en escenarios de FSAD de 2 ejemplos en MVTec AD (96,8% AUROC) y VisA (86,2% AUROC).
• Demostró aplicabilidad práctica con un 93,5% AUPRO en un conjunto de datos de piezas de plástico de automoción industrial del mundo real.
• VTFusion avanza significativamente el rendimiento de FSAD en entornos industriales exigentes.

Conclusiones:

• VTFusion cierra eficazmente la brecha de dominio y supera la desalineación semántica en FSAD multimodal.
• Las estrategias propuestas de extracción y fusión de características adaptativas mejoran la precisión y la robustez de la detección.
• VTFusion muestra un gran potencial para aplicaciones de inspección industrial en el mundo real.