Evaluación de las herramientas de IA frente al método PRISMA para la búsqueda de literatura, la extracción de datos y...

Área de la Ciencia:

• Oftalmología
• La informática médica
• La inteligencia artificial en la investigación

Sus antecedentes:

• La inteligencia artificial (IA) se utiliza cada vez más en la investigación científica para el análisis de datos y la preparación de manuscritos.
• Su aplicación en las revisiones sistemáticas de la literatura (SLR) es un área de interés emergente.
• Evaluar la eficacia de la IA en las cámaras réflex es crucial para comprender su potencial y limitaciones.

Objetivo del estudio:

• Investigar el papel y las limitaciones de la IA en la realización de revisiones sistemáticas de la literatura (SLR).
• Evaluar el rendimiento de la IA en las etapas clave de la SLR: investigación, selección de estudios, extracción de datos y composición.
• Comparar los procesos de SLR asistidos por IA con los elementos de información preferidos establecidos para la metodología de revisiones sistemáticas y metaanálisis (PRISMA).

Principales métodos:

• Se evaluaron cuatro plataformas de IA (Connected Papers, Elicit, ChatPDF y Jenni AI).
• Las plataformas se probaron en su capacidad para reproducir cuatro SLR basadas en PRISMA, relacionadas con el glaucoma.
• Se evaluó el rendimiento de la investigación, la precisión de la extracción de datos y la composición del contenido.

Principales resultados:

• Las herramientas de IA no replicaron completamente los resultados integrales de PRISMA en la búsqueda de literatura.
• La precisión de la extracción de datos varió: la precisión promedio de Elicit fue del 51,40%, ChatPDF del 60,33%.
• Jenni AI demostró fluidez pero carecía de profundidad metodológica y de elaboración de resultados.

Conclusiones:

• El método PRISMA sigue siendo el estándar de oro para la precisión y la reproducibilidad del SLR.
• Las herramientas de IA pueden ayudar con tareas repetitivas, pero no pueden reemplazar la supervisión crítica del investigador.
• El mantenimiento de la participación del investigador es esencial para garantizar la calidad, la precisión y la objetividad de las SLR.