TG-TSGNet: Una Red para la Generación de Escenas de Terreno de Resolución Arbitraria Guiada por Texto

Área de la Ciencia:

• Visión por Computadora
• Gráficos por Computadora
• Inteligencia Artificial

Sus antecedentes:

• El modelado tradicional de terrenos tiene dificultades con la eficiencia, el realismo y la consistencia semántica para aplicaciones como AR, VR y mapeo geográfico.
• Existe una creciente demanda de técnicas avanzadas de visualización de terrenos.

Objetivo del estudio:

• Proponer una novedosa Red de Generación de Escenas de Terreno de Resolución Arbitraria Guiada por Texto (TG-TSGNet) para superar las limitaciones del modelado de terreno actual.
• Mejorar la eficiencia, el realismo y la consistencia semántica de la generación de escenas de terreno.

Principales métodos:

• Se desarrolló TG-TSGNet, integrando un ConvMamba-VQGAN con Bloques de Representación Local Basados en Conv (CLRB) personalizados y Bloques de Representación Global Basados en Mamba (MGRB).
• Se incorporó una Subred de Guía de Texto con un codificador de texto y un Módulo de Alineación Texto-Imagen (TIAM) para la integración semántica.
• Se incluyó un Módulo de Superresolución de Imágenes de Resolución Arbitraria (ARSRM) entrenado junto con el VQGAN.
• Se generaron descripciones textuales para el Conjunto de Datos de Escenas de Terreno Natural (NTSD) que comprende 36.672 imágenes en 38 categorías.

Principales resultados:

• TG-TSGNet demostró un rendimiento superior o comparable a los métodos de referencia en realismo de imagen y consistencia semántica.
• La red captura eficazmente las características y semántica del terreno tanto a nivel local como global.
• Se logró un menor costo computacional en la generación de imágenes.

Conclusiones:

• TG-TSGNet ofrece un avance significativo en la generación de escenas de terreno guiada por texto.
• La arquitectura propuesta equilibra eficazmente el realismo, la consistencia semántica y la eficiencia computacional.
• El modelo es adecuado para aplicaciones de visualización exigentes que requieren datos de terreno de alta calidad.