Mejorar los modelos de texto a imagen basados en MMDiT para la generación de sujetos similares.

Área de la Ciencia:

• La inteligencia artificial es inteligencia artificial.
• Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador

Sus antecedentes:

• Los modelos de texto a imagen como los transformadores de difusión multimodal (MMDiT) representan una IA avanzada.
• MMDiT reduce los problemas de generación, pero lucha con las indicaciones que contienen múltiples temas similares, causando el abandono o la mezcla de temas.
• Las ambigüedades identificadas incluyen interbloqueo, codificador de texto y ambigüedad semántica dentro de la arquitectura MMDiT.

Objetivo del estudio:

• Para abordar el abandono y la mezcla de temas en MMDiT al generar múltiples temas similares.
• Proponer nuevas técnicas para la reparación latente sobre la marcha durante el proceso de desincrustado.
• Para mejorar la precisión y la calidad de la generación de texto a imagen para solicitudes complejas.

Principales métodos:

• Se propone la optimización del tiempo de prueba en los primeros pasos de desinformación para reparar latencias ambiguas.
• Se introdujeron tres funciones de pérdida: pérdida de alineación de bloque, pérdida de alineación de codificador de texto y pérdida de superposición.
• Desarrolló la detección en línea de superposición y la estrategia de muestreo de regreso al inicio para mitigar aún más la ambigüedad semántica.

Principales resultados:

• La validación experimental en un nuevo conjunto de datos de sujetos similares demostró una calidad de generación superior.
• Logró tasas de éxito significativamente más altas en comparación con los métodos de texto a imagen existentes.
• Se observaron mejoras consistentes en varios modelos basados en MMDiT como SD3, SD3.5 y FLUX.

Conclusiones:

• El método propuesto resuelve efectivamente las ambigüedades en MMDiT para generar múltiples sujetos similares.
• Las técnicas ofrecen aplicabilidad general y mejoras sustanciales para la generación de texto a imagen.
• Este trabajo avanza las capacidades de los modelos de transformadores de difusión en el manejo de complejas indicaciones visuales.