Los grandes modelos de lenguaje pueden extraer metadatos para la anotación de publicaciones de neuroimagen humana

Área de la Ciencia:

• Imágenes neurológicas
• Inteligencia artificial
• Ciencia de los datos

Sus antecedentes:

• La extracción de metadatos y la anotación son cruciales para organizar y analizar grandes conjuntos de datos de neuroimagen.
• La anotación manual consume mucho tiempo y requiere conocimientos especializados.
• Los avances recientes en los grandes modelos de lenguaje (LLM) ofrecen potencial para automatizar tales tareas.

Objetivo del estudio:

• Evaluar la capacidad de los modelos comerciales de lenguaje grande (LLM) recientes para la extracción y anotación de metadatos en neuroimagen.
• Comparar el rendimiento de los LLM con los anotadores humanos en las tareas de anotación del mundo real.
• Evaluar la utilidad de las LLM para la anotación de metadatos a gran escala.

Principales métodos:

• Investigó el modelo GPT-4o de OpenAI en tareas ejemplares de anotación de metadatos de neuroimagen.
• Utilizó las instrucciones de disparo cero sin retroalimentación para la evaluación de LLM.
• Comparó el rendimiento de LLM con las anotaciones humanas estándar.
• Análisis de las discrepancias entre el LLM y las anotaciones humanas.

Principales resultados:

• GPT-4o logró un alto rendimiento (0,91-0,97) comparable al de los anotadores humanos entrenados.
• Se encontró que los errores de LLM son similares en naturaleza y frecuencia a los errores humanos.
• Los desacuerdos entre LLM y las anotaciones humanas a menudo no eran errores verdaderos.
• El rendimiento de LLM se considera utilizable para la anotación de metadatos a escala.

Conclusiones:

• Los LLM comerciales, como el GPT-4o, son capaces de extraer y anotar metadatos de alta calidad en la neuroimagen.
• Los LLM ofrecen una alternativa escalable y eficiente a la anotación manual, que requiere un esfuerzo mínimo del investigador.
• Se fomenta el desarrollo de micro-puntos de referencia especializados para una mayor evaluación de los sistemas de LLM y de agentes en las tareas de anotación.