MoGraphGPT: Creación de escenas interactivas utilizando LLM modular y control gráfico

Área de la Ciencia:

• Gráficos por Computadora
• Interacción Humano-Computadora
• Inteligencia Artificial

Sus antecedentes:

• La creación de escenas interactivas 2D requiere típicamente una programación compleja.
• Los modelos de lenguaje grandes (LLM) existentes generan código, pero a menudo producen errores y carecen de control gráfico preciso para interacciones de múltiples elementos.

Objetivo del estudio:

• Desarrollar un sistema que simplifique la creación de escenas interactivas 2D con múltiples elementos.
• Abordar las limitaciones de la generación de código actual basada en LLM, específicamente la propensión a errores y la falta de control gráfico.

Principales métodos:

• Se implementó una técnica de modularización consciente del contexto utilizando módulos LLM separados para elementos individuales y un módulo central para interacciones.
• Se diseñó MoGraphGPT, una interfaz gráfica de usuario que integra LLM modulares con controles gráficos mejorados como deslizadores.
• Se utilizó una estructura de arriba hacia abajo para gestionar las interacciones y garantizar una lógica de actualización clara.

Principales resultados:

• MoGraphGPT mejora significativamente la facilidad, la controlabilidad y el rendimiento en comparación con Cursor Composer en la creación de escenas interactivas 2D.
• Un estudio de ablación confirmó la efectividad de la técnica de modularización.
• Un estudio abierto demostró la usabilidad y expresividad del sistema para la generación de escenas sin código.

Conclusiones:

• MoGraphGPT ofrece una solución eficaz para la creación sin código de escenas interactivas 2D complejas.
• El enfoque de LLM modular combinado con el control gráfico mejora la experiencia del usuario y la calidad de la salida.