¿La inteligencia artificial puede escribir ciencia? Un análisis comparativo de los escritos científicos escritos por...

Área de la Ciencia:

• Escritos médicos
• La inteligencia artificial en la investigación

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) como ChatGPT son prometedores para la escritura académica.
• Existen preocupaciones con respecto a la calidad, confiabilidad y habilidades interpretativas de la IA en los manuscritos científicos.

Objetivo del estudio:

• Para comparar la calidad de los manuscritos científicos escritos por humanos frente a los generados por IA.
• Evaluar las fortalezas y limitaciones de la IA en la publicación académica.

Principales métodos:

• Se crearon dos manuscritos de análisis simulados: uno de autor humano, otro por ChatGPT-4o.
• Tres revisores ciegos (dos humanos, una IA) evaluaron los manuscritos en cuanto a claridad, precisión, profundidad y coherencia.
• Los revisores calificaban los manuscritos y identificaban a los autores.

Principales resultados:

• El manuscrito de IA obtuvo una puntuación más alta en claridad (9.0 vs 7.2), pero más baja en precisión técnica (6.3 vs 9.3) y profundidad (5.5 vs 7.5).
• Los revisores señalaron la falta de análisis crítico e interpretación contextual de la IA.
• Se identificó correctamente a los autores; los revisores favorecieron los manuscritos alineados con su origen.

Conclusiones:

• La IA mejora la claridad, pero lucha con el razonamiento crítico y el contexto.
• La autoría y la supervisión humanas son vitales para la exactitud y el análisis científicos.
• La IA puede servir como una herramienta complementaria, no un reemplazo, para la escritura científica humana.