Ajuste de instrucciones con eficiencia de recursos de grandes modelos de lenguaje para el reconocimiento de entidades...

Área de la Ciencia:

• Procesamiento del lenguaje natural biomédico
• Inteligencia artificial
• Lingüística computacional

Sus antecedentes:

• Los modelos de lenguaje grande (LLM) son prometedores para el reconocimiento de entidades con nombre biomédico (BioNER).
• El ajuste fino de los LLM para BioNER requiere recursos computacionales significativos, lo que limita la accesibilidad.
• El ajuste fino eficiente de parámetros (PEFT) ofrece una solución para entornos con recursos limitados.

Objetivo del estudio:

• Investigar las técnicas PEFT para optimizar los LLM en BioNER en condiciones computacionales limitadas.
• Mantener el rendimiento competitivo del modelo y la capacidad de generalización en el dominio.
• Explorar las capacidades multitarea de los LLM afinados de BioNER.

Principales métodos:

• Se utilizó QLoRA, un método PEFT, para ajustar el modelo Llama3.1 para BioNER, creando NERLlama3.1.
• Desarrolló un conjunto de datos de ajuste de instrucciones de LLM utilizando los conjuntos de datos existentes de BioNER (enfermedad NCBI, BC5CDR-chem, gen BC2GM).
• Llama3.1-8B afinado en una sola GPU de 16 GB e incorporó un mensaje de autoconsistencia NER (SCNP) durante la inferencia.

Principales resultados:

• NERLlama3.1 logró altas puntuaciones de F1: 0,8977 (enfermedad NCBI), 0,9402 (BC5CDR-químico), 0,8530 (gen BC2GM).
• Se ha demostrado una fuerte generalización en conjuntos de datos no vistos (por ejemplo, 0,8378 en el gen NLM).
• Superó a los LLM totalmente ajustados y a la base BERT en las tareas BioNER, mostrando una generalización superior en el dominio.

Conclusiones:

• NERLlama3.1, utilizando PEFT, logró un alto rendimiento BioNER con requisitos computacionales significativamente reducidos.
• El modelo exhibe una generalización superior en el dominio en comparación con los modelos tradicionales preentrenados.
• Las bajas demandas de recursos, el alto rendimiento y la fuerte generalización hacen que NERLlama3.1 sea adecuado para diversas aplicaciones clínicas de BioNER.