Desarrollo y validación de un evaluador basado en el GPT para evaluar las habilidades de comunicación utilizando el...

Área de la Ciencia:

• Procesamiento del lenguaje natural
• Inteligencia artificial en el cuidado de la salud
• Evaluación de las habilidades de comunicación

Sus antecedentes:

• La evaluación precisa de las habilidades de comunicación es crucial en la atención médica.
• Los métodos de evaluación tradicionales pueden consumir mucho tiempo y ser subjetivos.
• Las herramientas automatizadas ofrecen un potencial para una evaluación eficiente y coherente.

Objetivo del estudio:

• Desarrollar y evaluar un evaluador generativo basado en transformadores pre-entrenados (GPT) para la evaluación de habilidades de comunicación.
• Examinar la fiabilidad entre evaluadores y la validez simultánea del evaluador GPT en comparación con las evaluaciones en humanos.
• Determinar la utilidad de los evaluadores de GPT en la evaluación de las interacciones terapeuta-paciente utilizando el Formulario de Evaluación de Habilidades de Comunicación Gap-Kalamazoo (GKCSAF).

Principales métodos:

• Desarrolló un clasificador basado en GPT utilizando el marco GKCSAF.
• Se evaluaron 80 transcripciones de interacción terapeuta-paciente previamente evaluadas por evaluadores humanos.
• Se analizó la fiabilidad entre los evaluadores utilizando el error absoluto medio (MAE) y los coeficientes de correlación intraclase (ICC).
• Valoración de la validez simultánea mediante la comparación de las puntuaciones GPT con las puntuaciones humanas promedio.

Principales resultados:

• El evaluador de GPT mostró un MAE% aceptable para las puntuaciones totales (12,2% - 21,0%) pero un ICC bajo (0,00-0,35) con las puntuaciones humanas.
• El análisis a nivel de dominio reveló un MAE% aceptable para sólo cuatro dominios, con escaso acuerdo en los nueve dominios (ponderación κ ≤ 0,38).
• La validez simultánea también demostró valores aceptables de MAE% pero bajos de ICC tanto a nivel total como de dominio.

Conclusiones:

• El evaluador GPT se muestra prometedor como herramienta complementaria para la evaluación de la puntuación total en las evaluaciones de habilidades de comunicación de bajo riesgo.
• El rendimiento a nivel de dominio es actualmente limitado, lo que requiere precaución para evaluaciones detalladas o de alto riesgo.
• Es necesario un mayor perfeccionamiento para mejorar la precisión y fiabilidad del evaluador GPT para un análisis exhaustivo de las habilidades de comunicación.