¿Puede ChatGPT reconocer su propia escritura en resúmenes científicos?

Área de la Ciencia:

• La inteligencia artificial en la escritura científica
• Integridad de las publicaciones académicas

Sus antecedentes:

• La proliferación de la IA generativa presenta desafíos para distinguir el contenido científico generado por la IA del contenido científico escrito por humanos.
• Evaluar la capacidad de los modelos avanzados de IA, como ChatGPT-4.0, para autoidentificar el texto generado por IA es crucial para mantener los estándares académicos.

Objetivo del estudio:

• Evaluar la precisión de ChatGPT-4.0 en la distinción entre resúmenes científicos escritos por humanos y generados por IA.
• Para determinar si ChatGPT-4.0 puede reconocer de manera confiable su propia salida en un contexto científico.

Principales métodos:

• Se seleccionaron 100 resúmenes de investigación originales del año 2000 de revistas de medicina interna de alto impacto.
• ChatGPT-4.0 generó nuevos resúmenes del texto completo de estos artículos.
• ChatGPT-4.0 evaluó los resúmenes originales y los generados por IA dos veces, calificando la probabilidad de autoría en una escala de 0-10.

Principales resultados:

• Se observaron altas tasas de clasificación errónea en ambas rondas de evaluación (49% y 47,5% respectivamente).
• A ninguno de los resúmenes se le asignó una puntuación neutral (5), lo que indica una falta de incertidumbre.
• El análisis estadístico reveló una superposición sustancial en las distribuciones de puntuación y un acuerdo deficiente (kappa de Cohen = 0,33, kappa ponderada = 0,24).

Conclusiones:

• ChatGPT-4.0 demuestra una incapacidad para distinguir de manera confiable entre los resúmenes científicos generados por humanos y IA.
• Los resultados subrayan la necesidad de desarrollar herramientas externas avanzadas para verificar la autoría y garantizar la transparencia en la publicación académica.