Extracción de información de notas clínicas: ¿estamos listos para pasar a modelos de lenguaje grandes?

Área de la Ciencia:

• Procesamiento del Lenguaje Natural
• Inteligencia Artificial en Medicina
• Informática Clínica

Sus antecedentes:

• La extracción de información clínica (IE) es crucial para aprovechar las notas clínicas no estructuradas.
• Los modelos de lenguaje grande (LLM) como LLaMA-2 y LLaMA-3 están surgiendo como herramientas poderosas para tareas de PNL.
• Comparar LLM con modelos establecidos como BERT es esencial para comprender su utilidad en la atención médica.

Objetivo del estudio:

• Evaluar el rendimiento, la generalización y la eficiencia computacional de los modelos LLaMA-2 y LLaMA-3 ajustados por instrucciones.
• Comparar los modelos LLaMA con BERT para el Reconocimiento de Entidades Nombradas (NER) y la Extracción de Relaciones (RE) clínicas.
• Evaluar el impacto de la disponibilidad de datos en el rendimiento del modelo.

Principales métodos:

• Desarrollo de un corpus anotado integral de 1588 notas clínicas de cuatro fuentes de datos diversas.
• Ajuste de instrucciones de los modelos LLaMA-2 y LLaMA-3 para tareas clínicas de NER y RE.
• Comparación de los modelos LLaMA con BERT utilizando métricas como las puntuaciones F1 en diferentes conjuntos de datos.

Principales resultados:

• Los modelos LLaMA superaron consistentemente a BERT en todos los conjuntos de datos evaluados.
• Se observaron mejoras significativas en el rendimiento con LLaMA-3-70B, especialmente en entornos con pocos datos y en datos no vistos (más del 7% de mejora en NER, 4% en RE).
• Los modelos LLaMA exhibieron mayores costos computacionales, requiriendo más memoria y horas de GPU, y funcionando hasta 28 veces más lento que BERT.

Conclusiones:

• Los modelos LLaMA ajustados por instrucciones demuestran un gran potencial para NER y RE clínicas.
• Existe una disyuntiva crítica entre el rendimiento mejorado y las crecientes demandas computacionales de los modelos LLaMA.
• La consideración cuidadosa de las limitaciones de recursos y las necesidades específicas de la aplicación es vital al seleccionar entre LLM y BERT para la IE clínica.