¿Pueden los grandes modelos lingüísticos simular conversaciones humanas habladas? | JoVE Visualize

Área de la Ciencia:

Lingüística computacional
Inteligencia artificial
Interacción hombre-ordenador

Sus antecedentes:

Los grandes modelos de lenguaje (LLM) demuestran capacidades avanzadas para emular la cognición humana, particularmente en las interacciones basadas en el chat.
La capacidad de los LLM para simular la conversación humana hablada sigue siendo en gran medida inexplorada, a pesar de su potencial como un cambio de paradigma.

Objetivo del estudio:

Investigar hasta qué punto los grandes modelos de lenguaje (LLM) pueden simular con precisión la conversación humana hablada.
Comparar las características lingüísticas de las conversaciones generadas por LLM con las conversaciones telefónicas humanas.

Principales métodos:

Estudio 1: Comparación de las transcripciones del cuadro (SB) (conversaciones telefónicas humanas) con las transcripciones generadas por LLMs (GPT-4, Claude Sonnet 3.5, Vicuna, Wayfarer) utilizando indicaciones personalizadas.
El análisis se centró en la alineación (conceptual, sintáctica, léxica), los marcadores de coordinación y las aberturas y cierres conversacionales.
Estudio 2: Evaluación de la capacidad humana para distinguir las transcripciones generadas por LLM de las transcripciones SB humanas.

Principales resultados:

Las conversaciones de LLM exhibieron una alineación exagerada, aumentando a medida que avanzaba la conversación, a diferencia de las conversaciones humanas.
Los LLM demostraron un uso diferente y a menudo inadecuado de los marcadores de coordinación y aberturas y cierres de conversación diferentes.
Los evaluadores humanos pudieron distinguir las transcripciones generadas por LLM de las conversaciones humanas, lo que indica que los LLM no pasaron consistentemente por el diálogo humano.

Conclusiones:

Las conversaciones habladas generadas por los LLM actuales son cualitativa y cuantitativamente diferentes de las conversaciones humanas.
Las diferencias pueden derivarse de distinciones inherentes entre el diálogo hablado y el chat, o limitaciones en la capacitación y las capacidades de LLM.
Los avances futuros en los LLM y los datos de formación pueden mejorar la simulación, pero pueden persistir diferencias fundamentales.