Generación de texto a imagen con GAN mejoradas: Acoplamiento de brechas semánticas usando RNN y CNN

Área de la Ciencia:

• Ciencias de la Computación; Inteligencia Artificial; Aprendizaje Automático

Sus antecedentes:

• La generación de texto a imagen tiene como objetivo crear imágenes realistas a partir de descripciones textuales.; Lograr un realismo consistente en las imágenes generadas sigue siendo un desafío importante.

Objetivo del estudio:

• Proponer un modelo basado en redes neuronales para generar imágenes de alta calidad a partir de texto.; Evaluar el rendimiento del modelo en conjuntos de datos estándar y modificados.

Principales métodos:

• Se empleó un marco de Red Generativa Antagónica (GAN), integrando Redes Neuronales Recurrentes (RNN) para el procesamiento de texto y Redes Neuronales Convolucionales (CNN) para la extracción de características de imagen.; El modelo se entrenó en el conjunto de datos Oxford 102-flores y una versión modificada, Oxford 102 flores (beta), con resoluciones de hasta 256x256.; Se calcularon las pérdidas del generador y el discriminador, y se evaluó el rendimiento utilizando la Puntuación de Incepción y la Relación Señal/Ruido Pico (PSNR).

Principales resultados:

• El modelo logró una Puntuación de Incepción de 4.15 (resolución de 64x64) en el conjunto de datos original y 3.97 (resolución de 128x128) en el conjunto de datos modificado.; Se registraron valores de PSNR de 28.25 dB y 30.12 dB en los conjuntos de datos original y anotado, respectivamente.; La metodología propuesta demostró un rendimiento superior en comparación con los modelos existentes.

Conclusiones:

• El modelo de red neuronal desarrollado genera eficazmente imágenes realistas a partir de descripciones de texto.; El modelo muestra resultados prometedores tanto en conjuntos de datos estándar como aumentados, superando a los enfoques existentes.; Investigaciones futuras pueden explorar resoluciones más altas y conjuntos de datos diversos.