Una hoja de ruta para evaluar la competencia moral en modelos de lenguaje grandes

Área de la Ciencia:

• Ética de la Inteligencia Artificial
• Moralidad Computacional
• Seguridad de la IA

Sus antecedentes:

• Los LLM se utilizan cada vez más en roles sensibles, lo que requiere una comprensión de sus capacidades morales.
• Las evaluaciones actuales se centran en el desempeño moral (adecuación de la salida) en lugar de la competencia moral (razonamiento basado en consideraciones morales).
• La evaluación de la competencia moral es vital para predecir el comportamiento de la IA, generar confianza y justificar atribuciones morales.

Objetivo del estudio:

• Ir más allá de la evaluación del desempeño moral para evaluar la competencia moral de los LLM.
• Identificar y abordar los desafíos fundamentales en la evaluación de la competencia moral de los LLM.
• Proponer una hoja de ruta para la evaluación científicamente fundamentada de la competencia moral de la IA.

Principales métodos:

• Identificación de desafíos clave: el problema de la imitación (imitación vs. comprensión), la multidimensionalidad moral (factores sensibles al contexto) y el pluralismo moral (estándares globales de IA).
• Defensa de un conjunto de evaluaciones contradictorias y confirmatorias.
• Desarrollo de un marco para evaluar la competencia moral de la IA.

Principales resultados:

• La evaluación de la competencia moral de los LLM enfrenta obstáculos significativos debido a la arquitectura del modelo y la complejidad moral.
• Se identifican el problema de la imitación, la multidimensionalidad moral y el pluralismo moral como desafíos críticos.
• Se propone un enfoque de evaluación estructurado para evaluar científicamente la competencia moral de los LLM.

Conclusiones:

• Una comprensión científica sólida de la competencia moral de los LLM requiere abordar los desafíos identificados.
• La atribución responsable de competencia moral a los LLM requiere una evaluación rigurosa y científicamente fundamentada.
• El desarrollo y despliegue futuros de la IA deben priorizar la evaluación ética de las capacidades morales de la IA.