Identificación y categorización de los 100 mejores artículos y el futuro de los grandes modelos lingüísticos:...

Área de la Ciencia:

• Bibliometría y inteligencia artificial
• Ciencias de la información
• Tendencias en la investigación académica

Sus antecedentes:

• La proliferación de grandes modelos de lenguaje (LLM) como ChatGPT ha estimulado una amplia investigación académica.
• La investigación abarca diversos campos, incluida la medicina, la educación y la tecnología, examinando las capacidades e implicaciones de LLM.

Objetivo del estudio:

• Identificar y categorizar los trabajos académicos de LLM más influyentes del año pasado.
• Evaluar la precisión de las herramientas de IA, como ChatGPT, en la clasificación de la investigación académica.
• Para comparar la categorización de la investigación dirigida por IA y la dirigida por humanos.

Principales métodos:

• Análisis bibliométrico de los 100 trabajos de LLM más citados utilizando Web of Science.
• Categoría manual de los trabajos por campo, revista, autor y tipo de investigación.
• Análisis comparativo del rendimiento de la clasificación de ChatGPT-4 en comparación con la revisión de expertos humanos.

Principales resultados:

• La medicina dominó la investigación influyente de LLM (43%), seguida de la educación (26%) y la tecnología (15%).
• La investigación médica se centró en las aplicaciones clínicas, las limitaciones de la IA en la atención médica y la educación médica.
• La clasificación de la IA mostró un alto acuerdo para los campos (92%) pero menor para los tipos de investigación (47%).

Conclusiones:

• Los LLM muestran un potencial significativo para la ayuda a la categorización de la investigación.
• La supervisión humana es crucial para abordar las limitaciones de la IA como las alucinaciones y los sesgos.
• La evaluación ética continua y la mejora del sistema de IA son vitales para maximizar los beneficios de LLM.