¿Pueden los programas de residencia detectar el uso de inteligencia artificial en declaraciones personales?

Área de la Ciencia:

• Educación médica
• Inteligencia artificial en el cuidado de la salud
• Integridad académica

Sus antecedentes:

• El creciente uso de modelos de lenguaje de IA como ChatGPT plantea preocupaciones sobre la integridad académica en las aplicaciones de residencia médica.
• Las declaraciones personales son cruciales para la selección de la residencia, por lo que la detección de contenido generado por IA es una prioridad para los comités de admisión.

Objetivo del estudio:

• Evaluar la eficacia de las herramientas de detección de IA ampliamente disponibles para identificar el texto generado por ChatGPT dentro de las declaraciones personales para las solicitudes de residencia.
• Evaluar la fiabilidad de los detectores de IA para garantizar la autenticidad en las admisiones a la educación médica.

Principales métodos:

• Se realizó un análisis cualitativo de 25 declaraciones personales presentadas para solicitudes de residencia en obstetricia y ginecología.
• Se utilizaron tres herramientas de detección de IA: GPTZero, Undetectable AI y Winston AI para analizar las muestras de escritura seleccionadas.

Principales resultados:

• El contenido generado por la IA fue altamente detectable, mientras que las muestras escritas por humanos mostraron tasas de detección mixtas (que oscilaron entre el 3 y el 100%).
• El rendimiento de los detectores de IA varió, con algunas herramientas que muestran una mayor precisión en la identificación de texto generado por IA.
• Las declaraciones escritas por humanos presentadas después de la amplia disponibilidad de ChatGPT exhibieron una gama más amplia de resultados de detección de IA.

Conclusiones:

• Las herramientas actuales de detección de IA pueden ayudar a los programas de residencia a identificar declaraciones personales generadas por IA, pero su confiabilidad no es absoluta.
• El desarrollo de directrices claras sobre el uso de la IA y la autoría es esencial para mantener la integridad de las solicitudes presentadas.
• La excesiva dependencia de herramientas de detección de IA no validadas podría perjudicar a los solicitantes legítimos.