Comparación de la capacidad de resolución de problemas asistida por IA con motores de búsqueda en Internet y libros...

Área de la Ciencia:

• Tecnología de Educación Médica
• Inteligencia Artificial en la Atención Médica
• Evaluación Educativa

Sus antecedentes:

• La inteligencia artificial (IA), especialmente los grandes modelos de lenguaje (LLM), está impactando cada vez más la educación médica.
• No se comprende bien la eficacia de los AI-LLM para estudiantes con diversos niveles de conocimiento previo.

Objetivo del estudio:

• Evaluar el rendimiento de estudiantes de medicina con y sin conocimientos formales de farmacología utilizando AI-LLM GPTs, motores de búsqueda en Internet, libros electrónicos o autoconocimiento para preguntas de opción múltiple (MCQ).

Principales métodos:

• Un estudio transversal involucró a 100 estudiantes de medicina (50 ingenuos, 50 con conocimientos previos) en un hospital de atención terciaria.
• Los participantes respondieron MCQs utilizando autoconocimiento, libros electrónicos, Google o ChatGPT-4o.
• Las puntuaciones se compararon utilizando análisis de covarianza, con el autoconocimiento como covariable.

Principales resultados:

• Los estudiantes con conocimientos previos superaron a los estudiantes ingenuos en todos los métodos (P<.001), con el mayor tamaño del efecto para AI-LLM GPTs.
• Jerarquía de rendimiento para todos los estudiantes: AI-LLM GPT > motor de búsqueda de internet > autoconocimiento ≈ libros electrónicos.
• Los estudiantes ingenuos que utilizan IA obtuvieron mejores resultados que los estudiantes con conocimientos previos que utilizan Google o libros electrónicos (P<.01).

Conclusiones:

• Los AI-LLM GPTs mejoran el rendimiento de las MCQ, especialmente para los estudiantes con conocimientos previos limitados.
• Las herramientas de IA pueden permitir que los estudiantes con menos conocimientos superen a sus compañeros que utilizan recursos tradicionales.
• Se necesita más investigación sobre el impacto de la IA en el aprendizaje profundo y el pensamiento crítico en la educación médica.