Precisión del software de detección de inteligencia artificial para declaraciones personales de residencia

Área de la Ciencia:

• Educación Médica
• Inteligencia Artificial
• Escritura Académica

Sus antecedentes:

• Existen preocupaciones sobre el uso de inteligencia artificial generativa (IA) en las declaraciones personales de residencia.
• Los directores de programas pueden preferir contenido generado por humanos, lo que impulsa el uso de herramientas de detección de IA.
• La precisión de la detección de IA en las declaraciones personales sigue siendo incierta.

Objetivo del estudio:

• Evaluar la precisión de las herramientas de detección de IA para identificar contenido generado por IA en las declaraciones personales de residencia.

Principales métodos:

• Se recopilaron 25 declaraciones personales generadas por humanos, 25 generadas por IA (ChatGPT-4o) y 25 de contenido mixto.
• Se utilizaron cuatro herramientas de detección de IA (gratuitas y de pago) para evaluar la probabilidad de generación de IA de las declaraciones.
• Se realizaron análisis estadísticos, incluido un análisis multivariante de la varianza (MANOVA) con pruebas post hoc.

Principales resultados:

• Las herramientas de detección de IA mostraron probabilidades variables para las declaraciones generadas por humanos, con rangos de hasta el 84%.
• Se encontraron diferencias significativas en las puntuaciones de probabilidad entre los tipos de declaración (P<.001).
• Existió una superposición notable entre el contenido mixto y las declaraciones completamente generadas por IA.

Conclusiones:

• Las herramientas de detección de IA pueden asignar erróneamente puntuaciones de alta probabilidad de IA a contenido generado por humanos.
• Las herramientas de detección de IA actuales no son confiables para distinguir entre declaraciones personales de contenido mixto y generadas por IA.