¿Pueden los grandes modelos lingüísticos simular conversaciones humanas habladas?

Área de la Ciencia:

• Lingüística computacional
• Inteligencia artificial
• Interacción hombre-ordenador

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) demuestran capacidades avanzadas para emular la cognición humana, particularmente en las interacciones basadas en el chat.
• La capacidad de los LLM para simular la conversación humana hablada sigue siendo en gran medida inexplorada, a pesar de su potencial como un cambio de paradigma.

Objetivo del estudio:

• Investigar hasta qué punto los grandes modelos de lenguaje (LLM) pueden simular con precisión la conversación humana hablada.
• Comparar las características lingüísticas de las conversaciones generadas por LLM con las conversaciones telefónicas humanas.

Principales métodos:

• Estudio 1: Comparación de las transcripciones del cuadro (SB) (conversaciones telefónicas humanas) con las transcripciones generadas por LLMs (GPT-4, Claude Sonnet 3.5, Vicuna, Wayfarer) utilizando indicaciones personalizadas.
• El análisis se centró en la alineación (conceptual, sintáctica, léxica), los marcadores de coordinación y las aberturas y cierres conversacionales.
• Estudio 2: Evaluación de la capacidad humana para distinguir las transcripciones generadas por LLM de las transcripciones SB humanas.

Principales resultados:

• Las conversaciones de LLM exhibieron una alineación exagerada, aumentando a medida que avanzaba la conversación, a diferencia de las conversaciones humanas.
• Los LLM demostraron un uso diferente y a menudo inadecuado de los marcadores de coordinación y aberturas y cierres de conversación diferentes.
• Los evaluadores humanos pudieron distinguir las transcripciones generadas por LLM de las conversaciones humanas, lo que indica que los LLM no pasaron consistentemente por el diálogo humano.

Conclusiones:

• Las conversaciones habladas generadas por los LLM actuales son cualitativa y cuantitativamente diferentes de las conversaciones humanas.
• Las diferencias pueden derivarse de distinciones inherentes entre el diálogo hablado y el chat, o limitaciones en la capacitación y las capacidades de LLM.
• Los avances futuros en los LLM y los datos de formación pueden mejorar la simulación, pero pueden persistir diferencias fundamentales.