Detección de Errores de Referencia en la Literatura Científica con Modelos de Lenguaje Grandes

Área de la Ciencia:

• Inteligencia Artificial
• Publicación académica
• Integridad científica

Sus antecedentes:

• Los errores de referencia, como los errores de citación y cita, son prevalentes en las publicaciones científicas.
• Estos errores pueden propagar información errónea y son difíciles de identificar manualmente, lo que amenaza la integridad de la literatura científica.
• Se necesitan métodos de detección automatizados para abordar estos desafíos.

Objetivo del estudio:

• Evaluar la eficacia de los modelos de lenguaje grandes (LLM) en la detección de errores de cita en artículos científicos.
• Evaluar el rendimiento de los LLM con diferentes niveles de información contextual a través de la mejora de la recuperación.

Principales métodos:

• Desarrollo de un conjunto de datos anotado por expertos que comprende pares de declaraciones-referencias de artículos de revistas, con un componente biomédico significativo.
• Evaluación de la familia de modelos de lenguaje grandes GPT de OpenAI en este conjunto de datos.
• Prueba de LLM en diversos entornos, incluidos aquellos con datos de referencia limitados.

Principales resultados:

• Los modelos de lenguaje grandes demostraron una notable capacidad para identificar citas erróneas.
• Se logró una detección eficaz incluso con información contextual restringida y sin ajuste fino del modelo.
• El estudio valida el potencial de la IA para apoyar los procesos de escritura y revisión científica.

Conclusiones:

• Los modelos de lenguaje grandes muestran potencial para detectar automáticamente errores de referencia en la literatura científica.
• Las herramientas de IA pueden ayudar a mantener la precisión y la confiabilidad de la investigación publicada.
• Esta investigación contribuye a aprovechar la IA para mejorar la comunicación científica y garantizar la base fáctica.