Factibilidad del uso de la IA para evaluar la solicitud de residencia en cirugía general Declaraciones personales

Área de la Ciencia:

• Educación médica
• La inteligencia artificial en la medicina

Sus antecedentes:

• La educación médica de posgrado utiliza cada vez más la inteligencia artificial (IA).
• Las declaraciones personales son subjetivas pero cruciales para las solicitudes de residencia.
• Los programas de residencia están evaluando la IA para la selección de aplicaciones.

Objetivo del estudio:

• Evaluar la viabilidad del uso de un modelo de lenguaje grande (LLM) para evaluar las residencias de cirugía general.
• Comparar las puntuaciones generadas por la IA con las puntuaciones asignadas por humanos para los PS.

Principales métodos:

• Análisis retrospectivo de 668 residentes en cirugía general no identificados.
• Puntos obtenidos con una escala de 1 a 5 en los dominios de liderazgo y trayectoria por los evaluadores humanos (HA) y GPT-3.5 (AI).
• Comparación de las puntuaciones de AI y HA utilizando estadísticas descriptivas y coeficientes de kappa ponderados; revisión cualitativa de casos discrepantes.

Principales resultados:

• Bajo acuerdo entre las puntuaciones de IA y HA (κ=0,184 liderazgo, κ=0,120 trayectoria).
• La IA obtuvo una puntuación de liderazgo más baja (mediana 3) y una trayectoria más alta (mediana 4) que la HA (mediana 4 de liderazgo, mediana de trayectoria 3).
• La IA requería etiquetas explícitas para las puntuaciones altas; HA reconoció cualidades inferidas como la resiliencia y la pasión.

Conclusiones:

• La IA demostró una aplicación consistente de las rúbricas, pero interpretó los PS de manera diferente a los humanos.
• La IA puede mejorar la consistencia y la escalabilidad en el cribado inicial.
• El juicio humano es vital para evaluar el significado implícito y el contenido matizado en las aplicaciones.