Desarrollo y evaluación cuasi-experimental de un sistema automatizado de retroalimentación basado en modelos de...

Área de la Ciencia:

• Educación en Enfermería
• Inteligencia Artificial en la Atención Médica
• Formación en Habilidades de Comunicación

Sus antecedentes:

• La innovación en la atención médica requiere enfermeras con sólidas habilidades de comunicación, a menudo subdesarrolladas en los planes de estudio actuales.
• Los "elevator pitches" son valiosos para abogar por el cambio, pero los métodos de calificación tradicionales se ven limitados por la escasez de profesores y la subjetividad.
• Los modelos de lenguaje grandes (LLM) ofrecen una solución escalable para la calificación automatizada y la retroalimentación personalizada en la educación de enfermería.

Objetivo del estudio:

• Desarrollar y evaluar un sistema basado en LLM para evaluar los guiones de presentación de estudiantes de enfermería.
• Proporcionar retroalimentación procesable destinada a mejorar la formación en innovación para estudiantes de enfermería.
• Aprovechar la IA para la evaluación objetiva y eficiente de las habilidades de comunicación en enfermería.

Principales métodos:

• Un estudio cuasi-experimental de dos fases que implicó el ajuste fino y la prueba de cuatro LLM en la calificación de guiones de presentación.
• Evaluación del rendimiento utilizando el Error Cuadrático Medio (RMSE), el Error Absoluto Medio (MAE) y R²; comparación con la retroalimentación del instructor.
• Evaluación cuasi-experimental que compara un grupo de intervención que utiliza el sistema LLM con un grupo de control.

Principales resultados:

• GPT-4o-mini demostró un rendimiento superior en la precisión de la calificación (menor RMSE y MAE, mayor R²).
• Los LLM proporcionaron retroalimentación significativamente más ventajosa que las evaluaciones manuales.
• El grupo de intervención mostró puntuaciones de presentación significativamente más altas en comparación con el grupo de control (P < 0,001).

Conclusiones:

• El sistema basado en LLM califica con precisión los guiones de presentación y ofrece retroalimentación objetiva y valiosa para los estudiantes de enfermería.
• Esta herramienta impulsada por IA puede mejorar significativamente la formación en habilidades de comunicación dentro de la educación de enfermería.
• El sistema tiene el potencial de fomentar la innovación liderada por enfermeras al mejorar la capacidad de los estudiantes para abogar por el cambio.