Recuperación de generación aumentada basada en el estímulo dinámico para el reconocimiento de entidades biomédicas...

Área de la Ciencia:

• Procesamiento del lenguaje natural (PNL)
• Informática biomédica

Sus antecedentes:

• El reconocimiento de entidades con nombre biomédico (NER, por sus siglas en inglés) es crucial para extraer información de textos biomédicos.
• Los grandes modelos de lenguaje (LLM) muestran potencial para NER, especialmente en escenarios de pocos disparos con datos limitados.

Objetivo del estudio:

• Para mejorar el rendimiento de LLM para NER biomédica de pocos disparos.
• Investigar la eficacia de las estrategias de activación dinámica, específicamente la generación aumentada de recuperación (RAG).

Principales métodos:

• Implementación y comparación de técnicas de ingeniería de prontas estáticas y dinámicas para LLM.
• Utilizó la generación aumentada de recuperación (RAG) con TF-IDF y SBERT para la selección dinámica de ejemplos.
• Se evaluó el rendimiento en cinco conjuntos de datos biomédicos NER en configuraciones de 5 y 10 inyecciones.

Principales resultados:

• El estímulo estático con componentes estructurados mejoró las puntuaciones F1 en un 11-12% para GPT-4, GPT-3.5 y LLaMA 3-70B.
• El impulso dinámico mejoró aún más el rendimiento, con la recuperación TF-IDF y SBERT que arrojó mejoras promedio en la puntuación F1 de 7.3% y 5.6%, respectivamente.
• El RAG dinámico demostró resultados superiores en tareas biomédicas NER de pocos disparos.

Conclusiones:

• Las indicaciones adaptativas contextuales a través de RAG son altamente efectivas para mejorar la NER biomédica de pocas inyecciones.
• Las estrategias de activación dinámica ofrecen un avance significativo sobre los métodos estáticos para las tareas de PNL biomédicas basadas en LLM.