Perfiles de interés científico escalables utilizando modelos de lenguaje grandes

Área de la Ciencia:

• Informática biomédica
• La inteligencia artificial en la investigación
• Comunicación Científica

Sus antecedentes:

• Los perfiles de investigación de los científicos son cruciales para el descubrimiento y la colaboración de talentos, pero a menudo están desactualizados.
• Se necesitan métodos automatizados y escalables para mantener los perfiles de investigación actuales.

Objetivo del estudio:

• Diseñar y evaluar métodos basados en grandes modelos lingüísticos para la generación de perfiles de interés científico.
• Comparar perfiles generados por máquinas (de resúmenes de PubMed y términos de MeSH) con los intereses auto-resumidos de los investigadores.

Principales métodos:

• Utilizó GPT-4o-mini para resumir los intereses de investigación de 595 miembros de la facultad en función de sus resúmenes de PubMed y términos de MeSH.
• Datos recopilados de publicaciones (títulos, términos de MeSH, resúmenes) de la facultad de CUIMC.
• Evaluaciones realizadas manualmente y automáticamente para comparar los perfiles generados por máquina y los escritos por uno mismo.

Principales resultados:

• La superposición léxica fue baja entre los perfiles generados por máquina y los escritos por uno mismo (bajas puntuaciones ROUGE-L, BLEU, METEOR).
• Se encontró una similitud semántica moderada utilizando BERTScore (F1: 0.542 basado en MeSH, 0.555 basado en abstracto).
• Las revisiones manuales favorecieron los perfiles basados en MeSH (67,86%) para la legibilidad (93,44%) y la impresión general (77,78% buena / excelente).

Conclusiones:

• Los LLM ofrecen una solución escalable para automatizar el perfil de interés científico.
• Los perfiles derivados del término MeSH demuestran una mayor legibilidad y preferencia del usuario en comparación con los perfiles derivados del término abstracto.
• Los perfiles generados por máquinas difieren en la elección del concepto de los escritos por humanos, destacando el potencial para la generación de ideas novedosas en los perfiles manuales.