Más allá del bot: un marco de doble fase para evaluar las simulaciones de chatbot de IA en la educación de enfermería

Área de la Ciencia:

• Educación en enfermería
• Inteligencia artificial
• Aprendizaje basado en simulación

Sus antecedentes:

• Integración rápida de los chatbots de IA en la educación de enfermería, especialmente para el aprendizaje basado en la simulación.
• Falta de modelos de evaluación estructurados para simulaciones generadas por IA.
• Necesidad de marcos para evaluar el diseño rápido y el rendimiento de los chatbots.

Objetivo del estudio:

• Introducir el marco de evaluación del Método Integrado de Simulación de la Inteligencia Artificial (AIMS).
• Adaptar el modelo FAITA para la evaluación en dos fases (diseño rápido y rendimiento del chatbot).
• Evaluar la utilidad de los chatbots de IA en las simulaciones de educación de enfermería.

Principales métodos:

• Desarrolló y aplicó el marco AIMS (fase 1: dominios rápidos, fase 2: criterios de rendimiento).
• Utilizó una rúbrica de puntuación y un bucle de retroalimentación para el refinamiento.
• Aplicación demostrada utilizando una herramienta de IA (Eval-Bot v1) con revisión por parte de expertos.

Principales resultados:

• El chatbot de IA mostró fortalezas en la alineación rápida y el aprendizaje interactivo para la planificación de emergencias.
• Desafíos identificados en la personalización, la inclusión, el tono y la adaptación a la complejidad.
• Preocupaciones señaladas con respecto a las indicaciones de seguridad y el lenguaje inclusivo, que afectan el rendimiento de la Fase 2.

Conclusiones:

• AIMS proporciona un método práctico y replicable para evaluar los chatbots de IA en la educación basada en la simulación.
• Ayuda a identificar las fortalezas y las áreas de mejora en la integración de la IA.
• Hace hincapié en el diseño intencional, la seguridad y la inclusión para el uso efectivo y ético de la IA en la educación sanitaria.