Un marco psicométrico para evaluar y dar forma a los rasgos de personalidad en modelos de lenguaje grandes

Área de la Ciencia:

• Inteligencia artificial
• Procesamiento del lenguaje natural
• Psicometría

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) exhiben rasgos de personalidad sintética debido a los datos de entrenamiento.
• Estos rasgos influyen en la efectividad de la comunicación en aplicaciones impulsadas por LLM.
• Evaluar y dar forma a la personalidad de LLM es crucial para su uso público generalizado.

Objetivo del estudio:

• Presentar una metodología psicométrica para evaluar la personalidad de LLM.
• Validar la medición de la personalidad en las salidas de LLM.
• Permitir la conformación de la personalidad de LLM en el texto generado.

Principales métodos:

• Administración y validación de pruebas de personalidad en 18 modelos de lenguaje grandes.
• Utilización de configuraciones de indicaciones específicas para la evaluación de la personalidad.
• Desarrollo de métodos para dar forma a la personalidad de LLM a lo largo de las dimensiones deseadas.

Principales resultados:

• Las mediciones de personalidad en las salidas de LLM pueden ser confiables y válidas bajo ciertas condiciones.
• Los modelos más grandes y ajustados por instrucciones muestran una evidencia más sólida de personalidad sintética confiable y válida.
• La personalidad de LLM se puede moldear con éxito para imitar perfiles humanos específicos.

Conclusiones:

• Se ha establecido una metodología psicométrica sólida para la evaluación y conformación de la personalidad de LLM.
• Los hallazgos respaldan la medición confiable y la modificación intencional de las personalidades sintéticas en los LLM.
• Se discuten las consideraciones éticas para el desarrollo responsable de la IA con respecto a la personalidad de LLM.