Inteligencia artificial en la educación de ética médica: un estudio descriptivo de ocho modelos en la generación de...

Área de la Ciencia:

• Tecnología de Educación Médica
• Inteligencia Artificial en la Atención Médica
• Evaluación y Valoración

Sus antecedentes:

• La inteligencia artificial (IA) presenta desafíos y oportunidades para los educadores médicos.
• La IA ofrece una solución potencial para generar contenido para evaluaciones de ética médica.
• Es crucial evaluar la efectividad de la IA en la creación de preguntas de opción múltiple de ética médica alineadas con el Examen de Licencias Médicas de los Estados Unidos (USMLE).

Objetivo del estudio:

• Evaluar el rendimiento de ocho modelos de IA en la generación de preguntas de opción múltiple de ética médica.
• Evaluar la relevancia, claridad y precisión de las preguntas de opción múltiple generadas por IA según los estándares del USMLE.
• Comparar la efectividad de diferentes modelos de IA, incluidos GPT-4 Turbo, GPT-3.5 Turbo, o1 Mini, o1 Preview, GPT-4, Claude 3.5 Sonnet, Claude 3 Opus y Gemini.

Principales métodos:

• Se encargó a ocho modelos de IA la generación de dos conjuntos de preguntas de opción múltiple (pregunta, respuesta, explicación) para 13 resultados de aprendizaje de ética médica alineados con el USMLE.
• Cuatro expertos independientes en ética médica calificaron las preguntas de opción múltiple generadas en cuanto a relevancia, claridad y precisión.
• Las métricas de rendimiento incluyeron la media, la mediana, el rango, las puntuaciones totales y una puntuación porcentual general para cada modelo, junto con comentarios cualitativos.

Principales resultados:

• Claude 3.5 Sonnet logró el rendimiento general más alto (86,28%), precisión (85,57%) y claridad (91,73%).
• o1 Mini demostró un fuerte rendimiento con una puntuación general del 85,19%, mientras que GPT-4 se destacó en relevancia (88,65%).
• GPT-4 Turbo y o1 Preview obtuvieron las puntuaciones generales más bajas (76,79%), con debilidades comunes que incluyen respuestas incorrectas y preguntas no relacionadas con la ética.

Conclusiones:

• Los modelos de IA demuestran un potencial significativo para ayudar a los educadores médicos en la creación de preguntas de opción múltiple de ética médica.
• La supervisión experta es indispensable para garantizar la aplicación precisa y apropiada del contenido de evaluación generado por IA.
• El estudio destaca la necesidad de una validación cuidadosa de los materiales educativos generados por IA.