La fiabilidad de la evaluación horizontal para la puntuación de las entrevistas de ingreso a la fisioterapia y la...

Área de la Ciencia:

• Educación médica y educación médica.
• Profesiones de la salud Educación Profesiones educativas
• Procesos de admisión Procesos de admisión

Sus antecedentes:

• La evaluación de los candidatos a la fisioterapia requiere revisiones de admisiones confiables.
• Investigaciones anteriores indicaron que las revisiones horizontales parciales mejoraron la confiabilidad en comparación con las revisiones verticales.
• Este estudio investiga un formato de revisión totalmente horizontal para una mayor confiabilidad.

Objetivo del estudio:

• Para estimar la confiabilidad interrater de una revisión de admisiones totalmente horizontal para candidatos a fisioterapia.
• Para comparar la fiabilidad de las revisiones totalmente horizontales con los formatos anteriores de revisión parcial horizontal y vertical.
• Presentar un método para optimizar la asignación de recursos del calificador de admisiones para mejorar la confiabilidad.

Principales métodos:

• Se analizaron datos retrospectivos de los revisores de admisiones del programa canadiense de fisioterapia (2021-2023).
• Se utilizaron datos asíncronos de entrevistas virtuales múltiples en miniatura (AVMMI) para calcular los coeficientes de correlación intraclase (ICC) y los errores estándar de medición (SEM).
• Se crearon modelos de generalización para identificar los componentes de varianza relacionados con las variables candidatas y evaluadoras, incluida la cantidad de evaluadores y preguntas.

Principales resultados:

• La revisión totalmente horizontal de 2023 logró una confiabilidad interrater de 0.82, en comparación con 0.63 para las revisiones verticales de 2020 y 0.75 para las revisiones horizontales parciales de 2021.
• El coeficiente de generalización más alto (G) y el SEM más pequeño se observaron con el formato de 2 calificadores por pregunta y 7 preguntas.
• El análisis del componente de variación identificó las estrategias óptimas de asignación de calificadores.

Conclusiones:

• El formato de revisión de admisiones totalmente horizontal aumenta de manera demostrable la confiabilidad del calificador y reduce la varianza de error.
• Cuando los recursos del evaluador son limitados, aumentar las preguntas de la entrevista y asignar un evaluador separado por pregunta es más efectivo que reducir las preguntas con múltiples evaluadores.
• Este enfoque mejora la eficiencia y la precisión de las revisiones de admisión al programa de fisioterapia.