Una plataforma impulsada por inteligencia artificial para la generación de preguntas de práctica

Área de la Ciencia:

• Tecnología de Educación Médica; Inteligencia Artificial en la Atención Médica; Evaluación y Valoración

Sus antecedentes:

• Los exámenes de licencia médica de alto impacto, como el Examen de Licencia Médica de los Estados Unidos (USMLE), son cruciales para la educación médica y la atención al paciente.; El acceso desigual a materiales de preparación de juntas de calidad desfavorece a los estudiantes de orígenes subrepresentados y con dificultades económicas.

Objetivo del estudio:

• Desarrollar y pilotar un sistema impulsado por IA para generar preguntas de práctica estilo USMLE.; Evaluar la viabilidad y efectividad del uso de Modelos de Lenguaje Grandes (LLM) con Generación Aumentada por Recuperación (RAG) para la creación de preguntas médicas.

Principales métodos:

• Un sistema de IA que utiliza LLM, RAG y prompting de pocos ejemplos generó 565 preguntas estilo USMLE a partir de conferencias preclínicas de hematología.; Un director de curso de la facultad supervisó un proceso de humano en el bucle para garantizar la validez del contenido y el cumplimiento de las directrices de la National Board of Medical Examiners (NBME).; Las preguntas validadas se implementaron a través de una aplicación móvil para la práctica y retroalimentación de los estudiantes.

Principales resultados:

• El 87 % de las preguntas generadas (490/565) fueron precisas y cumplieron con las directrices de la NBME.; Ochenta estudiantes de medicina utilizaron el banco de preguntas, con una tendencia de uso hacia un mejor rendimiento en preguntas relacionadas con el examen.; La retroalimentación cualitativa indicó un fuerte entusiasmo de los estudiantes por las herramientas de estudio asistidas por IA.

Conclusiones:

• Los Modelos de Lenguaje Grandes pueden generar de manera efectiva preguntas de práctica de alta calidad y que cumplen con las directrices para exámenes de licencia médica.; El desarrollo futuro se centrará en la revisión de contenido impulsada por IA para la escalabilidad y la reducción de la carga de trabajo del profesorado.; Se planea la expansión de la plataforma a más cursos y profesiones de la salud para ampliar el acceso y apoyar el refinamiento continuo.