A Critical Appraisal of Colorectal Surgery Fellowship Standardized Letters of Recommendations Using Objective...

Standardized letters of recommendation were introduced to capture more meaningful fellowship applicant evaluations. There are concerns that this letter may introduce subjectivity to assessments traditionally measured by objective metrics, such as board scores and publications.

This study aimed to evaluate the influence of individual application elements on ranking by referee.

Collected data included applicant demographics and objective assessments of academic performance, including in-service examination percentiles, US Medical Licensing Examination Step 1 and Step 2 scores, and publication count. Summary statistics and ORs from repeated-measures logistic regression models using the method of generalized estimating equations are reported.

Single academic institution.

To determine whether objective applicant parameters are associated with being subjectively ranked No. 1 by the referee.

Among 302 standardized letter of recommendation forms, 51.3% of the applicants were ranked No. 1 by the referee. Applicants ranked No. 1 had higher junior and senior in-training examination percentiles (60.3 vs 50.9, p = 0.0002 and 59.5 vs 48.0, p < 0.0001, respectively), Step 1 scores (235 vs 231, p = 0.0287), and average number of publications (5.9 vs 3.5, p = 0.0011). For each unit rise of in-training percentile and publication number, the OR for being ranked No. 1 improved by 1.03 ( p = 0.002) and 1.08 ( p = 0.013), respectively. Ranks lower than No. 1 did not demonstrate the expected decline in objective performance metrics with decreasing rank, except for Step 1 percentile ( p ≤ 0.001). Technical ability was the strongest predictor of No. 1 ranking.

Analyses are limited to elements included in standardized letters.

Standardized letters retain the relationship between objective performance metrics and subjective ratings for applicants ranked No. 1 by referee. However, this relationship is lost when applicants are ranked lower than first place. Our findings provide valuable insights and inform best practices for the use of standardized letters of recommendation in the context of fellowship selection. See Video Abstract .

ANTECEDENTES:Se introdujo la carta de recomendación estandarizada para obtener evaluaciones más significativas de los solicitantes de becas. Existe la preocupación de que esta carta pueda introducir subjetividad en las evaluaciones que tradicionalmente se miden con métricas objetivas, como las puntuaciones de los exámenes y las publicaciones.OBJETIVO:Evaluar la influencia de los elementos individuales de la solicitud en la clasificación por parte del evaluador.DISEÑO:Los datos recopilados incluyeron datos demográficos de los solicitantes y evaluaciones objetivas del rendimiento académico, incluyendo percentiles de exámenes en servicio, puntuaciones de los pasos 1 y 2, y número de publicaciones. Se presentan estadísticas resumidas y odds ratios de modelos de regresión logística de medidas repetidas utilizando el método de ecuaciones de estimación generalizadas.ENTORNO:Se analizaron las cartas estandarizadas enviadas a una sola institución durante el ciclo de solicitudes de 2019.PRINCIPALES MEDIDAS DE RESULTADOS:Determinar si los parámetros objetivos de los solicitantes están asociados con la clasificación subjetiva como número 1 por parte del árbitro.RESULTADOS:Entre los 302 formularios LOR estandarizados, el 51,3 % de los solicitantes fueron clasificados en primer lugar por el evaluador. Los solicitantes clasificados en primer lugar obtuvieron percentiles más altos en los exámenes de formación de primer y segundo año (60,3 frente a 50,9, p = 0,0002 y 59,5 frente a 48,0, p < 0,0001, respectivamente), puntuaciones en el Step 1 (235 frente a 231, p = 0,0287) y un mayor número medio de publicaciones (5,9 frente a 3,5, p = 0,0011). Por cada unidad de aumento en el percentil de formación y el número de publicaciones, la razón de probabilidades de obtener la clasificación n.º 1 mejoró en 1,03 ( p = 0,002) y 1,08 ( p = 0,013), respectivamente. Las clasificaciones inferiores a la n.º 1 no mostraron la disminución esperada en las métricas de rendimiento objetivo al descender la clasificación, excepto el percentil del paso 1 ( p ≤ 0,001). La capacidad técnica fue el predictor más fuerte de la clasificación en el puesto n.º 1.LIMITACIONES:Los análisis se limitaron a los elementos incluidos en las cartas estandarizadas.CONCLUSIONES:Las cartas estandarizadas mantienen la relación entre las métricas de rendimiento objetivo y las calificaciones subjetivas de los candidatos clasificados en el puesto n.º 1 por el evaluador. Sin embargo, esta relación se pierde cuando los candidatos se clasifican por debajo del primer puesto. Nuestros hallazgos proporcionan información valiosa y sirven de base para las mejores prácticas en el uso de cartas de recomendación estandarizadas en el contexto de la selección de becas. (AI-generated translation ).