Video Experimental Relacionado
Updated: Feb 19, 2026
Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
IA frente a evaluación humana de transcripciones de entrevistas médicas en un sistema de simulación de pacientes con
Hiromizu Takahashi1, Kiyoshi Shikino2, Takeshi Kondo3,4
1Department of General Medicine, Faculty of Medicine, Juntendo University, 3-1-3 Hongo, Bunkyo Tokyo, 1130033 Japan, Tokyo, Japan, 81 3-3813-3111.
La evaluación basada en IA (EBI) coincide estrechamente con la evaluación basada en humanos (EBH) para entrevistas con pacientes virtuales, ofreciendo una alternativa fiable y más rápida. Esta tecnología puede mejorar la eficiencia y reducir la carga de trabajo del profesorado en la educación médica.
Área de la Ciencia:
- Tecnología de Educación Médica
- Inteligencia Artificial en la Atención Sanitaria
- Evaluación de Habilidades Clínicas
Sus antecedentes:
- La inteligencia artificial generativa (IA) se utiliza cada vez más en la educación médica para simulaciones de pacientes virtuales.
- La comparabilidad de la evaluación basada en IA (EBI) con la evaluación tradicional basada en humanos (EBH) para entrevistas clínicas sigue estando poco explorada.
Objetivo del estudio:
- Comparar la calidad de las evaluaciones de entrevistas clínicas de IA (GPT-o1 Pro, GPT-5 Pro) frente a evaluadores humanos.
- Evaluar el impacto de la IA en el tiempo de evaluación y el acuerdo entre los distintos niveles de experiencia clínica.
Principales métodos:
- Se presentó un caso estandarizado de debilidad en las piernas a través de un paciente virtual de IA a siete participantes.
- Las transcripciones de las entrevistas fueron calificadas utilizando la Escala de Calificación de Entrevistas Maestras por herramientas de IA e instructores clínicos ciegos.
- Se evaluó la fiabilidad y el acuerdo utilizando coeficientes de correlación, análisis de Bland-Altman y alfa de Cronbach; se midió la eficiencia del tiempo.
Principales resultados:
- Las puntuaciones de la evaluación basada en IA (EBI) reflejaron estrechamente las puntuaciones de la evaluación basada en humanos (EBH) (r=0,90, coeficiente de correlación de concordancia=0,88).
- La EBI demostró una consistencia superior (menor coeficiente de variación: 6,6 % frente a 13,9 %) y fiabilidad (ICC(3,1): 0,77-0,82) en comparación con la EBH (ICC(2,1): 0,38).
- La IA redujo significativamente el tiempo de evaluación, y GPT-5 Pro ofreció una reducción del 67,6 % en comparación con los evaluadores humanos.
Conclusiones:
- La evaluación basada en IA proporciona una alternativa válida, consistente y rápida a la evaluación basada en humanos para entrevistas con pacientes virtuales.
- La EBI puede mejorar la eficiencia, permitir una retroalimentación oportuna y disminuir la carga de trabajo del profesorado en entornos de formación médica.
- Se recomienda una investigación adicional para confirmar la generalización de la EBI en diversos contextos educativos.
