Ecos en IA: Cuantificación de la falta de diversidad de parcelas en las salidas de LLM

Área de la Ciencia:

• Inteligencia artificial
• Procesamiento del lenguaje natural
• Creatividad computacional

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) se utilizan cada vez más para la generación de contenido creativo.
• Una pregunta clave es si los LLM pueden fomentar una genuina creatividad colectiva a través de una ideación diversa.

Objetivo del estudio:

• Evaluar la diversidad de elementos de la trama generados por los LLM de última generación (GPT-4, LLaMA-3) en la generación de historias.
• Introducir y validar una métrica automática, el puntaje Sui Generis, para medir la singularidad de la parcela.

Principales métodos:

• Se examinó la generación de historias a partir de GPT-4 y LLaMA-3 utilizando indicaciones idénticas.
• Desarrolló la puntuación Sui Generis para cuantificar la singularidad de los elementos de la trama en múltiples generaciones de LLM.
• Se realizaron evaluaciones en humanos para correlacionar las puntuaciones de Sui Generis con los niveles de sorpresa percibidos.

Principales resultados:

• Las historias generadas por LLM con frecuencia presentan elementos de la trama a través de generaciones y modelos.
• Las historias escritas por humanos exhiben elementos de trama significativamente más únicos en comparación con las salidas de LLM.
• La puntuación de Sui Generis muestra una correlación moderada con los juicios humanos de sorpresa, validando su eficacia.

Conclusiones:

• Los LLM actuales pueden no reforzar suficientemente la creatividad colectiva debido a la generación repetitiva de elementos de la trama.
• La puntuación Sui Generis ofrece un método confiable y automático para evaluar la originalidad en las narrativas generadas por IA.
• Se necesita más investigación para mejorar la diversidad de LLM para aplicaciones creativas.