Esta página ha sido traducida por una máquina. Otras páginas pueden seguir apareciendo en inglés. View in English

¿Qué importancia tiene el entrenamiento previo y el ajuste de la instrucción del modelo de lenguaje específico para la extracción de relaciones biomédicas?

Aviv Brokman ¹, Ramakanth Kavuluru ²

⁰Department of Statistics, University of Kentucky, USA.

Natural Language Processing and Information Systems : ... International Conference on Applications of Natural Language to Information Systems, Nldb ... Revised Papers. International Conference on Applications of Natural Language to Info +

|

22 de agosto de 2025

Ver abstracta en PubMed

Resumen

Los modelos de lenguaje general (LM) a menudo superan a los LM biomédicos especializados para la extracción de relaciones. El ajuste fino de la instrucción biomédica mejora el rendimiento, lo que sugiere que el enfoque debe cambiar de LM específicos de dominio a un ajuste fino a gran escala de LM generales.

Área De La Ciencia

Procesamiento del lenguaje natural biomédico (PNL)
Aprendizaje automático
Lingüística computacional

Sus Antecedentes

Los avances en la PNL en general, incluidos los modelos de lenguaje generativo (LM), el ajuste fino de la instrucción y el aprendizaje de pocos disparos, se aplican cada vez más al dominio biomédico.
Se han desarrollado LM y métodos de ajuste finos específicos para tareas biomédicas, con el objetivo de mejorar el rendimiento a través de datos de capacitación especializados.

Objetivo Del Estudio

Investigar la eficacia de los modelos de lenguaje de dominio biomédico en comparación con los modelos de dominio general para la tarea de extracción de relaciones.
Evaluar el impacto de la puesta a punto de la instrucción biomédica frente a la puesta a punto de la instrucción general en el rendimiento del modelo para las tareas de PNL biomédica.

Principales Métodos

Utilizó modelos de lenguaje existentes previamente entrenados en corpora generales y biomédicos.
Modelos probados en cuatro conjuntos de datos de extracción de relaciones biomédicas distintas.
Comparó el rendimiento de LM específicos de dominio con LM generales y evaluó el efecto del ajuste fino de instrucciones en varios conjuntos de datos.

Principales Resultados

Los modelos de lenguaje de dominio general superaron constantemente a los modelos de dominio biomédico en las tareas de extracción de relaciones.
El ajuste de instrucciones biomédicas mejoró significativamente el rendimiento del modelo, logrando resultados comparables al ajuste de instrucciones generales.
Se observaron ganancias de rendimiento del ajuste fino de la instrucción biomédica a pesar de utilizar sustancialmente menos instrucciones que los conjuntos de datos de ajuste fino generales.

Conclusiones

Los hallazgos sugieren que el desarrollo de LMs biomédicos específicos a gran escala puede ser menos efectivo que centrarse en una extensa instrucción de ajuste fino de LMs generales para la PNL biomédica.
La investigación futura debe priorizar la instrucción biomédica a gran escala y el ajuste fino de los LM generales para mejorar el rendimiento en tareas posteriores como la extracción de relaciones.

Palabras clave:

extracción de información biomédica ajuste fino de las instrucciones Modelos de lenguaje entrenamiento previo

Videos de Conceptos Relacionados

Improving Translational Accuracy

Base complementarity between the three base pairs of mRNA codon and the tRNA anticodon is not a failsafe mechanism. Inaccuracies can range from a single mismatch to no correct base pairing at all. The free energy difference between the correct and nearly correct base pairs can be as small as 3 kcal/ mol. With complementarity being the only proofreading step, the estimated error frequency would be one wrong amino acid in every 100 amino acids incorporated. However, error frequencies observed in...